蜘蛛池的价值在于让搜索引擎蜘蛛持续发现 URL，但如果入口页的链接结构没有收敛，蜘蛛很可能掉进页面自己生成出来的“无底洞”。这类问题通常不会立刻报错，只是在日志里表现为抓取量一直涨、新 URL 越抓越多，而真正想推的目标页却没多抓几个。这就是典型的蜘蛛陷阱。
蜘蛛陷阱是怎么形成的
本质上，页面根据 URL 参数动态生成内容，生成出来的内容又带出新的链接，循环没有终点。蜘蛛按规则一个接一个抓下去，抓取预算就被消耗在这些永远抓不完的页面上。
常见的几种形态
- 无限分页：下一页链接永远存在，页码可以一直往上加。
- 日历与日期导航：每一天的 URL 都有效，蜘蛛顺着“上个月”“下一年”一路点下去。
- 参数组合爆炸：筛选、排序、每页条数、视图模式等参数两两组合，URL 数量呈指数增长。
- 会话或追踪参数：URL 里带 sid、from、ref 之类，同一个页面被当成无数个地址。
- 目录自引用：路径可以无限叠加，/a/b/a/b 这类地址也能返回正常页面。
- 空结果页可抓取：没有内容也返回 200，蜘蛛会继续顺着链接往下找。
为什么蜘蛛池更容易踩进去
蜘蛛池入口页本身就是为“多给蜘蛛一些入口”而批量生成的，链接密度高、页面结构相似。如果模板里带了分页组件或筛选组件，每个入口页都会复制一份陷阱。入口页数量一多，放大效应就很明显，一个模板问题会变成成千上万个可抓链接。
排查思路
- 从访问日志里统计 URL 模式，看是否存在随着抓取推进不断产生新变体的路径。
- 抽样查看被抓取最多的 URL 前缀，通常就是陷阱所在的分页或筛选路径。
- 对比 sitemap 与实际被抓 URL 的差异，看有多少被抓地址并不在预期范围内。
- 在搜索引擎后台观察“已发现未抓取”的 URL 数量是否长期堆积。
处理办法
- 分页设上限，超过页数直接返回 404，或不再输出下一页链接。
- 用 canonical 指向列表首页，让同一内容的不同变体收敛到一个地址。
- 对无意义的参数，用 robots.txt 的 Disallow 或参数处理工具屏蔽。
- 筛选、排序类链接加 rel="nofollow"，减少蜘蛛的无谓跟进。
- 空结果页返回 404，或者加上 noindex。
- 日历类导航只在当前月份内输出链接，历史日期不生成可抓链接。
几个容易忽略的细节
处理时不要一刀切：把整段路径直接屏蔽，可能连正常的入口页也一起挡掉。建议先按 URL 模式精确屏蔽，再观察抓取结构有没有变化。另外，陷阱修复的效果通常要等蜘蛛重新抓取几轮之后才看得出来，不必急着当天判断成败。
判断标准可以简单一点：抓取总量上涨的同时，目标页的抓取比例是否也在上涨。如果只有总量涨、结构没变，大概率还是在陷阱里空转。
小结
蜘蛛陷阱不是蜘蛛池特有的问题，但蜘蛛池会把它放大。上线前先把分页、筛选、日期这三类链接收敛好，比事后从日志里慢慢清理要省事得多。