很多站点不是没有内容，而是内容被大量低价值URL稀释了。搜索蜘蛛在站内爬行时，会顺着链接一层层发现新地址。如果页面里存在可以无限组合的参数，比如筛选条件、排序方式、日历翻页、会话标识，蜘蛛就可能在这些地址上反复打转。这通常被称为爬虫陷阱。
常见的爬虫陷阱形态
它们往往不是单个页面，而是一套可以不断生成地址的机制：
- 多维筛选：颜色、尺寸、品牌、价格区间等条件任意组合，每换一组就生成一个新URL。
- 排序与视图参数：按价格、销量、新品排序，或列表、网格视图切换，内容相同但地址不同。
- 日历翻页：活动日历、归档日期可以向前或向后翻很多年，生成大量空结果页。
- 会话与跟踪参数：sessionid、from、utm 等参数被写进链接，同一页面出现多个版本。
- 打印、导出与分享链接：为方便用户生成的一次性地址，没有收录价值，却可能被蜘蛛抓到。
为什么参数组合比页面数量更麻烦
页面数量是有限的，参数组合却可能接近无限。假设一个列表页有五个筛选维度，每个维度有十种取值，组合起来就是十万级地址。蜘蛛的抓取预算有限，如果把这些地址大量抓走，真正需要更新的文章、栏目和详情页就可能排到后面。更麻烦的是，这些地址往往返回相似内容或空结果，容易让蜘蛛对站点质量产生误判。
抓取预算不是靠“提交更多URL”换来的，而是靠“减少无效URL”省出来的。
先自查：日志和站点地图里能看到什么
治理之前，先确认问题是否真实存在。服务器日志里可以观察蜘蛛访问的路径模式：如果大量请求集中在带参数的列表页、日历页，且响应内容相似，就值得处理。站点地图和站内链接也要检查，看是否主动把参数地址暴露给了蜘蛛。
- 同一内容是否有多个参数版本同时被访问？
- 空结果页、排序页是否被频繁抓取？
- 是否存在蜘蛛深挖日历、翻页到很远位置的记录？
- 站内搜索结果的URL是否被站内链接或站点地图引用？
治理顺序：从链接层开始，再考虑规则
很多运营人员第一反应是写 robots.txt。robots 可以阻止抓取，但已经发现过的URL仍可能出现在索引里，显示为无描述的结果。更稳妥的做法是先减少链接暴露，再配合其他信号。
- 梳理参数用途：区分哪些参数影响内容、哪些只影响展示。只影响展示的参数，尽量不进入可抓取链接。
- 限制组合入口：可以保留一两个核心筛选维度，多维组合改为表单提交或前端加载，不生成稳定的可抓取地址。
- 规范链接：对同一内容的不同参数版本，用 canonical 指向主版本；站内链接尽量直接指向规范地址。
- 处理日历与翻页：给翻页设置合理上限，超过上限的链接不输出，或加上 nofollow 与 noindex。对确实没有内容的日期页，不要生成链接。
- 清理跟踪参数：站内跳转不要携带 sessionid、utm 等参数；外部投放链接也要注意，不要让这些参数进入站内爬行路径。
- 持续观察：治理后过一段时间再看日志，确认高频参数请求是否下降，核心页面的抓取是否更集中。
几个容易忽略的细节
nofollow 和 robots 并不是一回事。nofollow 主要影响链接权重和发现，robots 是抓取层面的禁止。对于不想被抓取、也不想被索引的地址，通常需要组合使用。另外，空结果页如果返回 200 状态码，容易被当作正常页面，建议返回合适的状态或明确提示无结果，避免蜘蛛反复访问。
爬虫陷阱的治理不是一次性任务。栏目调整、筛选功能上线、活动页面改版，都可能带来新的参数入口。把URL发现纳入日常运营检查，比事后清理更省力。