蜘蛛池的目的，是让搜索蜘蛛发现并访问更多有价值的 URL。但入口页的链接结构如果没设计好，很容易变成“蜘蛛陷阱”：蜘蛛数量看着在涨，目标页却没什么变化。问题往往出在 URL 生成方式，而不是蜘蛛本身。
什么是蜘蛛陷阱
蜘蛛陷阱指站点结构或 URL 规则让蜘蛛进入一个看似无限、实际高度重复的链接空间。蜘蛛每抓一个页面，都能发现新链接，于是继续往下爬。它和“被封”不是一回事，更多是抓取效率问题：蜘蛛把时间花在了低价值页面上。
常见陷阱一：无限分页与日历归档
分页、日历、时间归档最容易失控。翻页链接一路延伸，蜘蛛跟着“下一页”爬到很深的位置，内容却越来越旧、越来越空。
- 分页只保留前几页可抓，后面的页用 nofollow 或 robots 限制。
- 日历归档不要为每个月、每一天生成独立 URL，改用列表页聚合。
- 分页参数不要和排序、筛选参数叠加，否则 URL 数量会成倍增加。
常见陷阱二：参数组合爆炸
筛选、排序、跟踪参数组合起来，可以轻松产生成百上千个 URL，打开后内容却基本一样。蜘蛛一旦开始抓，很难自动停下来。
- 对排序、会话、utm 等参数，用 canonical 指向主 URL，或在 robots 中屏蔽。
- 筛选页只保留有真实搜索需求的少数组合，其余禁止抓取。
- 入口页不要随机输出带参数的链接，链接要稳定、可预期。
常见陷阱三：镜像页与多域名
同一套内容放在多个域名或子域名下，蜘蛛会反复抓取。它不知道哪个是主版本，只能都抓一遍。
处理方式是用 301 把镜像指向主域，或者在 robots 中屏蔽镜像站。不要指望蜘蛛自己判断重复。
蜘蛛不怕页面多，怕的是“看起来很多，其实一样”。
常见陷阱四：JS 生成链接与无限滚动
用 JavaScript 生成大量链接，蜘蛛可能抓取，但抓取量和顺序很难控制。无限滚动如果不配分页入口，蜘蛛容易在滚动列表里打转。
- 关键链接尽量在服务端输出，保证蜘蛛能稳定发现。
- 无限滚动保留分页入口，让蜘蛛有明确的翻页路径。
- 不要把重要目标页只放在需要交互才能出现的链接里。
怎么排查和收敛
- 看日志：统计蜘蛛访问最多的路径，是否集中在参数页、分页和归档页。
- 看索引：用站内查询和抓取统计，判断是否存在大量低价值 URL。
- 收敛 URL：合并重复页、屏蔽无用参数、限制分页深度。
- 给目标页更多链接：把指向目标页的链接放在稳定、可抓的路径上。
- 观察调整：调整后看蜘蛛对目标页的访问是否增加，不要只看蜘蛛总量。
使用建议
蜘蛛陷阱不一定马上出问题，但长期会拉低抓取效率。入口页少而精、链接路径清晰、参数可控，通常比堆大量页面更稳。也不要用陷阱去“困住”蜘蛛来给目标站加分，蜘蛛发现价值低，会主动降频，最后受影响的还是目标页的发现效率。
把入口页当成给蜘蛛看的导航，而不是 URL 生成器。路径越清楚，蜘蛛越容易走到你想让它去的地方。