在蜘蛛池里，入口頁的任務是把蜘蛛引到目标頁。但很多站点真正被消耗预算的地方，並不是入口頁本身，而是入口頁後面那些看起来“無關紧要”的連結——分頁、篩選、日歷、排序參數。它們一旦被蜘蛛顺着爬下去，就會形成一個没有出口的循环。
什么是抓取陷阱
抓取陷阱指的是站内因為連結規則或參數组合，产生了近乎無限的 URL 集合。蜘蛛沿着連結一直走，始终走不到尽头，也拿不到新的有價值内容。它通常不是刻意設定的结果，多數时候只是程序預設行為留下的产物。
在蜘蛛池场景下，為什么更容易被放大
蜘蛛池的作用是制造發現路径，入口頁往往集中放了大量連結。如果這些連結里混進了带參數的站内 URL、分頁鏈或者多层目錄，蜘蛛在入口頁拿到的就不只是目标頁，還包括一大堆會自我複製的地址。入口頁越多，這種放大效應越明顯。
三種常见形態
分頁鏈
列表頁的“下一頁”如果一直存在，蜘蛛可以一路翻到底。對蜘蛛池来说，真正想被看到的往往只是前面几頁，後面的分頁几乎没有新的目标連結，却會持續占用抓取次數。
篩選與排序參數
颜色、價格、排序方式、時間范围……每一個篩選组合都可能生成一個獨立 URL。如果這些 URL 返回 200 且互相連結，蜘蛛就會把它們当成不同頁面分別抓取，而内容高度重复。
無限层級目錄
有些系統會按日期、标簽、作者层层生成归档頁，形成“归档的归档”。层級越深，蜘蛛越容易在中間卡住，也不容易回到入口頁。
自查：怎么判断自己有没有中招
- 站内是否存在“下一頁”從第 1 頁一路连到第 N 頁，且没有分頁上限
- 篩選參數是否直接輸出可点击連結，而不是放在表單或交互里
- 是否存在多個 URL 指向同一内容，且都能返回 200
- 归档頁、标簽頁是否层层嵌套
- 日誌里是否有大量来自同一目錄、但參數不同的抓取记錄
處理思路
- 给分頁设上限，超出部分不輸出可点击連結，或用“加载更多”這類不直接生成連結的方式
- 篩選、排序參數尽量不生成獨立 URL；确實需要保留的，用 canonical 指向主版本
- 归档頁限制层級，按年、按月即可，不要按月再按日再按标簽繼續拆
- 在 robots.txt 里屏蔽明顯無價值的路径，同时注意不要连带屏蔽目标頁
- 定期看日誌，確認被大量抓取的是不是自己希望被抓的頁面
几個容易被忽略的点
抓取陷阱的危害不是“被惩罚”，而是预算被稀释——蜘蛛的時間花在了重复頁面上，真正想被發現的連結反而排到了後面。
另一個誤区是只盯着入口頁數量。入口頁再多，如果每一頁都把蜘蛛送進一個走不完的循环，最终能到達目标頁的抓取次數還是有限的。反過来，入口頁數量不多，但路径干净、出口明确，蜘蛛每次来都能往前推進一步，效果往往更好。
還有一点是不要把 robots.txt 当成萬能開關。屏蔽掉一條路径，蜘蛛仍可能通過其他連結發現這些 URL，只是不再抓取。更有效的做法是從源头减少這類 URL 的产生，而不是事後一封了之。
小结
蜘蛛池解决的是“被不被發現”，抓取陷阱影响的是“發現之後往哪走”。把分頁、參數、层級這三件事理顺，入口頁送出去的連結才有机會真正落到目标頁上。上线前後各看一次日誌，比凭感觉調整要可靠得多。