蜘蛛池的目的，是让搜尋蜘蛛發現並訪問更多有價值的 URL。但入口頁的連結结构如果没设計好，很容易變成“蜘蛛陷阱”：蜘蛛數量看着在涨，目标頁却没什么變化。問题往往出在 URL 生成方式，而不是蜘蛛本身。
什么是蜘蛛陷阱
蜘蛛陷阱指站点结构或 URL 規則让蜘蛛進入一個看似無限、實际高度重复的連結空間。蜘蛛每抓一個頁面，都能發現新連結，于是繼續往下爬。它和“被封”不是一回事，更多是抓取效率問题：蜘蛛把時間花在了低價值頁面上。
常见陷阱一：無限分頁與日歷归档
分頁、日歷、時間归档最容易失控。翻頁連結一路延伸，蜘蛛跟着“下一頁”爬到很深的位置，内容却越来越舊、越来越空。
- 分頁只保留前几頁可抓，後面的頁用 nofollow 或 robots 限制。
- 日歷归档不要為每個月、每一天生成獨立 URL，改用列表頁聚合。
- 分頁參數不要和排序、篩選參數叠加，否則 URL 數量會成倍增加。
常见陷阱二：參數组合爆炸
篩選、排序、跟踪參數组合起来，可以轻松产生成百上千個 URL，打開後内容却基本一样。蜘蛛一旦開始抓，很难自動停下来。
- 對排序、會话、utm 等參數，用 canonical 指向主 URL，或在 robots 中屏蔽。
- 篩選頁只保留有真實搜尋需求的少數组合，其余禁止抓取。
- 入口頁不要随机輸出带參數的連結，連結要稳定、可预期。
常见陷阱三：镜像頁與多域名
同一套内容放在多個域名或子域名下，蜘蛛會反复抓取。它不知道哪個是主版本，只能都抓一遍。
處理方式是用 301 把镜像指向主域，或者在 robots 中屏蔽镜像站。不要指望蜘蛛自己判断重复。
蜘蛛不怕頁面多，怕的是“看起来很多，其實一样”。
常见陷阱四：JS 生成連結與無限滚動
用 JavaScript 生成大量連結，蜘蛛可能抓取，但抓取量和顺序很难控制。無限滚動如果不配分頁入口，蜘蛛容易在滚動列表里打轉。
- 關键連結尽量在服務端輸出，保證蜘蛛能稳定發現。
- 無限滚動保留分頁入口，让蜘蛛有明确的翻頁路径。
- 不要把重要目标頁只放在需要交互才能出現的連結里。
怎么排查和收敛
- 看日誌：統計蜘蛛訪問最多的路径，是否集中在參數頁、分頁和归档頁。
- 看索引：用站内查询和抓取統計，判断是否存在大量低價值 URL。
- 收敛 URL：合並重复頁、屏蔽無用參數、限制分頁深度。
- 给目标頁更多連結：把指向目标頁的連結放在稳定、可抓的路径上。
- 观察調整：調整後看蜘蛛對目标頁的訪問是否增加，不要只看蜘蛛總量。
使用建议
蜘蛛陷阱不一定马上出問题，但長期會拉低抓取效率。入口頁少而精、連結路径清晰、參數可控，通常比堆大量頁面更稳。也不要用陷阱去“困住”蜘蛛来给目标站加分，蜘蛛發現價值低，會主動降频，最後受影响的還是目标頁的發現效率。
把入口頁当成给蜘蛛看的導航，而不是 URL 生成器。路径越清楚，蜘蛛越容易走到你想让它去的地方。