做站点运营，大家习惯先看蜘蛛来没来、来了多少。但还有一个更隐蔽的问题：蜘蛛来了之后，会不会被页面上的某些入口带进无穷无尽的地址里。这类结构通常被称为爬虫陷阱，它不报错、不报警，只是安静地消耗抓取预算，让真正需要被发现的页面排不上队。
爬虫陷阱长什么样
判断某个入口是不是陷阱，可以看三个特征：地址数量是否由参数组合无限放大；页面内容是否高度重复；是否存在只有蜘蛛会一路点下去、对真实用户几乎没价值的路径。只要满足其中两条，就值得单独拉出来看看。
需要重点检查的五类入口
日历与日期导航
文章归档、活动日历、排班表这类组件，常见做法是按年、月、日逐级展开。问题在于每一级都会生成一个新地址，而空日期的页面往往只有一句“暂无内容”。一年三百六十五天，几年下来就是上千个几乎相同的页面。
会话 ID 与跟踪参数
有些程序会把 sessionid、sid 之类的标识直接拼在地址上，同一个栏目页因此出现几十个版本。外部投放带来的 from、ref、utm 参数如果被服务端接受并正常返回 200，也会制造同样的问题。这类地址通常内容是完整的，因此更容易被当成独立页面处理。
组合筛选与多级排序
列表页提供颜色、价格、地区、排序方式等多个筛选项时，可组合的数量是乘积关系。十几个选项就能拼出成千上万个地址。如果这些组合页面没有做参数规范，也没有限制可被抓取的范围，蜘蛛很容易在里面越走越深。
无限滚动与“加载更多”
纯前端追加内容、地址栏却不变，通常不会产生新地址，风险相对小。真正麻烦的是每加载一批就写入一个新的参数或路径，或者滚动到底部时链接指向的是下一批数据的地址。此时内容在持续增加，但没有任何一页被明确标记为终点。
站内搜索的联想与空结果
搜索框的输入联想、热门词推荐、搜索结果的二次筛选，都可能被拼成新地址。尤其是空结果页，常常返回 200 加一句提示，重复度极高。这类地址一旦被大量收录，会明显拉低站点的整体质量观感。
一份可执行的自查清单
- 在服务器日志里按目录分组，找出被抓取次数最多、但内容重复度最高的那一批地址，看看它们是怎么被发现的。
- 随机挑几个可疑地址，手动去掉参数、改改参数顺序，确认是否返回同一份内容。
- 检查这些地址是否在站点地图、内链、面包屑或页脚中被主动指向——如果是，先切断入口。
- 确认它们的返回状态：该 404 的返回 404，该 301 的跳转到规范地址，不要一律返回 200。
- 在 robots.txt 中屏蔽明显的组合参数或日历目录，但要先确认屏蔽不会误伤正常页面。
- 一周后再看一次日志和抓取分布，确认这批地址的请求量确实在下降。
处理时把握几个原则
- 优先断入口，再谈屏蔽。如果内链还在源源不断指向陷阱，单靠 robots.txt 只是让蜘蛛在门口反复试探。
- 能合并就合并。筛选组合本身有用户价值时，保留主要组合，把长尾参数收敛到规范地址上。
- 给分页一个终点。明确最后一页，不要让“下一页”永远有内容。
- 状态码要诚实。空结果、不存在的组合、已下架的页面，分别用合适的状态码回应，而不是统一返回 200。
- 小步改动，观察后再继续。一次改太多，出问题时很难判断是哪一步引起的。
爬虫陷阱的麻烦之处不在于它有多严重，而在于它长期存在却很少被注意。定期花半小时翻一遍日志里的高频地址，往往比事后补救更省事。
抓取预算是有限的，蜘蛛在一个站点上停留的时间也是有限的。把那些无限延伸、内容空转的地址收拢起来，省下的部分自然会流向栏目页和内容页。这件事没有立竿见影的效果，但它是站点运营里少数可以长期保持的动作之一。