参数URL为什么会被大量发现
翻抓取日志时，如果发现同一批内容对应着几十上百个带参数的地址，通常不是蜘蛛在乱抓，而是站内链接主动把入口递了出去。参数入口一旦被大量收录，能在同一时间被分配的抓取额度就会被摊薄，真正需要更新的页面反而排在后面。
一、参数路径的常见来源
- 筛选、排序、视图切换被写成可直接点击的 a 标签；
- 分面导航由前端根据当前 URL 叠加参数生成，参数顺序不固定；
- 推广、统计、分享链接带 utm、from、ref 等跟踪参数，被复制进正文或评论；
- 模板里残留会话 ID、时间戳等动态参数。
这些地址大多指向同一批内容，蜘蛛逐一抓取后，发现新内容的效率自然会下降。
二、先判断哪些参数页值得保留
不是所有参数都要清理，判断标准可以简化为三点：
- 内容是否真的不同：筛选结果若只是同一列表的重新排序，主体内容差异极小，通常不需要独立入口。
- 是否有人搜索或引用：有稳定搜索需求、有外部链接指向的参数页，贸然屏蔽会丢掉已有的入口价值。
- 是否能被稳定访问：依赖会话、随机排序、限时活动的参数页，本身就不适合作为长期入口。
实践上，能收敛的先收敛，判断不清的先看日志里的抓取频次与落地表现，不建议一次性全量屏蔽。
三、收敛入口的几种做法
3.1 用 canonical 指明规范地址
对内容重复的参数页输出指向无参数版本的 canonical，有助于把信号合并。注意 canonical 是提示而非强制，仍需配合内链调整。
3.2 调整内链的指向
筛选链接尽量改为前端交互、不产生新的可抓取 URL，或统一参数顺序、去掉无意义参数。页脚与侧栏的“热门筛选”模板链接如果指向大量参数组合，可以收敛成少数几个固定入口。
3.3 跟踪参数在入口层清洗
外部进来的 utm 参数可以在跳转层 301 到干净地址，避免这些地址被站内链接继续传播。清洗规则建议统一写在跳转层，而不是靠单个页面处理。
3.4 Sitemap 只放规范地址
Sitemap 里同时出现带参数与不带参数的同一内容，等于自己制造重复入口。提交前做一次地址去重与规范化检查，比事后排查省事得多。
四、收敛后如何观察
- 抓取日志中参数路径占比是否下降，规范地址的抓取是否更集中；
- 规范地址的抓取频次与返回状态码是否稳定；
- 是否有原本依赖参数入口的长尾页面出现表现波动，必要时把关键参数页重新放行。
收敛是来回调整的过程，改动后建议至少观察一到两周，再决定是否继续收紧。
五、落地检查清单
- 导出抓取日志中带参数的 URL，按参数名归类统计出现次数；
- 确认每个参数的实际用途：筛选、排序、跟踪还是会话；
- 为重复内容参数页补充 canonical，并统一内链指向；
- 跟踪参数在跳转层清洗，避免二次传播；
- Sitemap 去重，只保留规范地址；
- 改动后持续跟踪日志与关键页面表现，按需微调。