讨论蜘蛛池时，多数人关心的是爬虫来不来，很少有人关心爬虫来了之后是不是被困住了。实际上，一个入口页只要存在某类结构，爬虫就可能在同一个小站里兜圈子，把有限的访问次数耗在无意义的页面上，而真正需要被发现的 URL 一直排不上队。
蜘蛛陷阱在蜘蛛池语境下的含义
搜索引擎优化里说的蜘蛛陷阱，通常指那些会生成无限多 URL、或者让爬虫反复循环的页面结构。放到蜘蛛池里，这个问题会被放大：入口页本身就是为被发现而存在的，如果它同时还是一个陷阱，那么爬虫每次到访都只是在原地打转，信号没有往外传，反而被内部消化掉了。
入口页上常见的几种陷阱
无限分页与下一页链
列表页一路下一页接到天荒地老，页码可以点到几千页，这是最经典的一种。即使你在 robots.txt 或链接属性上做了限制，也建议在服务端直接收敛：超过某个页数之后不再输出下一页链接，或者干脆返回 404，让循环有明确的尽头。
日历、筛选与排序参数
带日期、价格排序、多重筛选的入口页，可组合出来的 URL 数量是乘级的。爬虫会顺着这些组合一路抓下去，很快就触到给自己设定的上限。对蜘蛛池来说，入口页的职责是摆出目标 URL，而不是把自身变成一个巨大的可抓取集合。把筛选结果收敛成少数几个静态路径，能省掉很多无谓的往返。
无限滚动与纯 JS 加载
页面往下滚就自动加载，但 HTML 源码里没有任何链接，或者链接完全由脚本拼出来。不同爬虫的渲染能力差别很大：渲染能力强的能把内容抓回去，能力弱的只看到一个空壳。所以入口页上的链接最好是源码里就能读到的 a 标签，滚动加载只作为补充体验。
session id 与跟踪参数
每次访问都往 URL 上挂一个 sid 之类的参数，同一份内容就有了无数个地址。爬虫会把它们当作不同页面反复抓取，抓取预算被迅速稀释，而且很难自己走出去。
软 404 与空白页
返回 200 但页面没有实际内容，或者只有一句暂无数据。爬虫无法判断这是有效页还是空壳，长期如此，站点整体的抓取优先级容易往下走。
陷阱的代价不只是抓取预算
抓取预算是直接的损失，但更麻烦的是信号层面的问题：爬虫在陷阱里绕得越久，从你的入口页跳到下一个目标 URL 的概率就越低。蜘蛛池的价值在于把爬虫引导到新 URL，一旦入口页变成了终点，它就从桥梁变成了墙。
判断一个入口页是否合格，可以用一句话概括：爬虫访问它之后，有没有多拿到一个之前不知道的 URL。
上线前可以做的自查
- 页面上的链接，在禁用脚本的情况下还能不能被读到；
- 翻页、筛选、排序这几类结构，是否会产生大量可被抓取的组合 URL；
- 同一份内容是否存在多个带参数的地址；
- 空列表页返回的是 200，还是 404 或 410；
- 从入口页出发，三步之内能不能走到目标 URL。
一点使用建议
蜘蛛池不是越大越好，入口页也不是越花哨越好。结构简单、链接可读、路径短，通常比堆功能更能让爬虫顺畅通过。需要说明的是，做到这些只是减少无谓损耗，并不代表目标页面一定会被收录，最终结果仍然取决于目标站点自身的内容质量与搜索需求。把陷阱清理干净，只是让爬虫的每一次到访不至于白跑。