带参数的 URL 在收录里很容易失控。一个列表页加上筛选条件、排序方式、会话追踪参数，就能裂变出成百上千个地址。蜘蛛顺着站内链接一路爬下去，索引里出现大量内容相近、价值不高的版本，真正的核心页面反而被稀释。处理这类问题，顺序比手段更重要。
第一步：把参数按用途分类
不同参数的处置方式不一样，先分类再动作，能避免误伤。
- 筛选参数：如颜色、价格区间、品牌。有的组合有独立搜索需求，有的只是组合爆炸。
- 排序参数：如按价格、销量、上新排序。绝大多数只是同一批内容的顺序变化。
- 追踪参数：如 utm_source、gclid、ref。纯粹用于统计，不应产生独立页面。
- 分页参数：如 page、p。属于列表的浏览路径，需要单独考虑。
- 会话与临时参数：如 sessionid、随机串。通常每次访问都不一样。
第二步：判断哪些参数页有资格进入索引
判断标准可以简单一些：这个参数页是否提供用户会主动搜索的、与主列表不同的内容？
- 能独立满足搜索意图的筛选组合（例如“二手手机 128G 国行”），可以考虑保留。
- 只是改变排列顺序、或参数取值组合数量巨大的，一般不需要独立收录。
- 追踪参数、会话参数、随机串，一律不该出现在索引里。
注意，判断的是“是否值得收录”，而不是“蜘蛛会不会来抓”。这两件事经常被混为一谈。
第三步：按从入口到索引的顺序收口
处理顺序建议如下，先减少发现，再清理已有索引。
- 改链接：站内尽可能输出干净 URL，追踪参数用脚本拼接，而不是写死在 href 里。
- 收敛入口：筛选组合不要做全量互链，控制可点击的组合数量。
- 规范版本：确定每个参数页对应的规范 URL，用 canonical 指向它。
- 屏蔽抓取：对确定无价值的参数路径，用 robots.txt 挡住抓取。
- 处理已收录：已经进入索引的 URL，再按下面的方式逐类清理。
几种常见手段的代价
robots.txt 屏蔽
它能阻止抓取，但已经收录的 URL 不会因此消失，甚至因为无法读取页面，蜘蛛拿不到 noindex 信号。适合用在还没被收录、且确定无价值的路径上。
canonical 指向主版本
适合内容确实高度相似、但有保留价值的参数页。canonical 是建议而非指令，主版本本身要能正常抓取、内容要更完整，否则可能被忽略。
noindex
适合确定不要出现在索引里的参数页。前提是页面允许被抓取，否则标签读不到。数量大时，先在少量页面验证效果，再批量推进。
核对与验证
- 用站点日志确认蜘蛛还在抓哪些参数 URL，抓取频次是否下降。
- 在索引状态里按参数特征抽查，看规范版本是否被正确选择。
- 检查站内链接是否真的换成了干净 URL，避免一边清理一边继续制造入口。
- 改完后留出观察周期，索引更新不会立刻完成。
参数 URL 的处理没有统一答案。关键是先分清哪些有独立价值，再把“减少发现”和“清理索引”分成两步走，别指望一个标签解决全部问题。