在蜘蛛池里，入口页的任务是把蜘蛛引到目标页。但很多站点真正被消耗预算的地方，并不是入口页本身，而是入口页后面那些看起来“无关紧要”的链接——分页、筛选、日历、排序参数。它们一旦被蜘蛛顺着爬下去，就会形成一个没有出口的循环。
什么是抓取陷阱
抓取陷阱指的是站内因为链接规则或参数组合，产生了近乎无限的 URL 集合。蜘蛛沿着链接一直走，始终走不到尽头，也拿不到新的有价值内容。它通常不是刻意设置的结果，多数时候只是程序默认行为留下的产物。
在蜘蛛池场景下，为什么更容易被放大
蜘蛛池的作用是制造发现路径，入口页往往集中放了大量链接。如果这些链接里混进了带参数的站内 URL、分页链或者多层目录，蜘蛛在入口页拿到的就不只是目标页，还包括一大堆会自我复制的地址。入口页越多，这种放大效应越明显。
三种常见形态
分页链
列表页的“下一页”如果一直存在，蜘蛛可以一路翻到底。对蜘蛛池来说，真正想被看到的往往只是前面几页，后面的分页几乎没有新的目标链接，却会持续占用抓取次数。
筛选与排序参数
颜色、价格、排序方式、时间范围……每一个筛选组合都可能生成一个独立 URL。如果这些 URL 返回 200 且互相链接，蜘蛛就会把它们当成不同页面分别抓取，而内容高度重复。
无限层级目录
有些系统会按日期、标签、作者层层生成归档页，形成“归档的归档”。层级越深，蜘蛛越容易在中间卡住，也不容易回到入口页。
自查：怎么判断自己有没有中招
- 站内是否存在“下一页”从第 1 页一路连到第 N 页，且没有分页上限
- 筛选参数是否直接输出可点击链接，而不是放在表单或交互里
- 是否存在多个 URL 指向同一内容，且都能返回 200
- 归档页、标签页是否层层嵌套
- 日志里是否有大量来自同一目录、但参数不同的抓取记录
处理思路
- 给分页设上限，超出部分不输出可点击链接，或用“加载更多”这类不直接生成链接的方式
- 筛选、排序参数尽量不生成独立 URL；确实需要保留的，用 canonical 指向主版本
- 归档页限制层级，按年、按月即可，不要按月再按日再按标签继续拆
- 在 robots.txt 里屏蔽明显无价值的路径，同时注意不要连带屏蔽目标页
- 定期看日志，确认被大量抓取的是不是自己希望被抓的页面
几个容易被忽略的点
抓取陷阱的危害不是“被惩罚”，而是预算被稀释——蜘蛛的时间花在了重复页面上，真正想被发现的链接反而排到了后面。
另一个误区是只盯着入口页数量。入口页再多，如果每一页都把蜘蛛送进一个走不完的循环，最终能到达目标页的抓取次数还是有限的。反过来，入口页数量不多，但路径干净、出口明确，蜘蛛每次来都能往前推进一步，效果往往更好。
还有一点是不要把 robots.txt 当成万能开关。屏蔽掉一条路径，蜘蛛仍可能通过其他链接发现这些 URL，只是不再抓取。更有效的做法是从源头减少这类 URL 的产生，而不是事后一封了之。
小结
蜘蛛池解决的是“被不被发现”，抓取陷阱影响的是“发现之后往哪走”。把分页、参数、层级这三件事理顺，入口页送出去的链接才有机会真正落到目标页上。上线前后各看一次日志，比凭感觉调整要可靠得多。