分享按钮、广告投放链接、邮件模板、站内搜索跳转,都会在不经意间给同一个页面生成好几个不同的 URL。搜索引擎发现 URL 的渠道本来就很杂,外链、站内链接、提交接口、日志残留都算,这些带参数的版本一旦被大量发现,就会被当成独立页面分别排队抓取。
问题通常不在某一条带参链接,而在于它出现的量级和持续性。一个页面几十个入口 URL,累积到全站就是成千上万条近似地址,抓取资源和收录信号都会被摊薄。
同一页面为什么会出现多个入口 URL
先把手头的来源列清楚,比急着去屏蔽更有效。常见的几类:
- 站外分享与广告:utm_source、utm_medium、utm_campaign 这类投放标记。
- 站内跳转:搜索页、筛选页、导航中的跳转链接把参数带进了详情页。
- 程序自动生成:会话 ID、跟踪 ID、时间戳,每次访问都可能不一样。
- 历史与配置原因:www 与非 www、http 与 https、尾斜杠的有无、大小写不统一。
- 短链和第三方中转:点击后才 302 到真实地址,中转地址本身也可能被收录。
这些来源里,其实只有一部分是真正需要处理的。判断的核心标准是:去掉参数后,页面主体内容是否完全一致。
这些入口 URL 带来的实际影响
- 抓取资源被花在内容几乎相同的页面上,真正需要更新的页面反而等得更久。
- 内链权重和外部链接信号被拆到多个地址上,主版本的抓取频次也容易被稀释。
- 日志和索引数据变复杂,后面判断收录情况时更难得出可靠结论。
- 一旦改版或调整结构,需要处理的重定向数量成倍增加。
不是所有参数都要封杀。排序、分页、筛选参数往往对应真实的差异化内容,把它们当成纯垃圾参数处理,可能反而让有价值的页面退出抓取范围。
先分类,再决定怎么处置
- 从抓取日志和索引数据里筛出带参数的 URL,按参数名归类,记录出现频次与是否被收录。
- 手动打开去掉参数后的版本,逐项对比:价格、库存、排序结果、分页内容是否发生变化。
- 按结果分三类:完全一致的装饰性参数、内容确实不同的内容型参数、部分场景才生效的混合型参数。
装饰性参数适合收敛;内容型参数应当保留可抓取,并各自指向自己的规范地址;混合型参数可以先列白名单,只放开确实影响内容的取值。
常用的收敛做法
从链接输出端做起
站内所有链接尽量输出规范版本,包括导航、面包屑、相关推荐、RSS 和分享组件。对外投放链接最好先经过一层跳转再落到规范地址,不要直接把带参 URL 暴露在页面上。会话 ID 这类由程序自动附加的参数,能从源头关掉就不要靠事后屏蔽。
抓取层面的控制
robots.txt 里可以用通配符限制特定参数组合,但前提是已经确认该参数不影响页面内容。平台的 URL 参数处理工具可以指定只抓取规范版本,比逐条写规则更好维护。改动前建议先小范围观察日志里对应 URL 的抓取量变化。
页面层面的信号
带装饰性参数的页面,canonical 指向无参数版本。而分页、排序这类内容确实不同的页面,canonical 应指向自身,不要统一指向第一页或主列表,否则等于主动告诉搜索引擎这些页面可以合并。
站点地图与内链
sitemap 里只放规范 URL;内链锚文本指向的也应是规范版本。这两处是搜索引擎重新校正收录地址时比较直接的参考。
处理过程中容易踩的几个点
- 不要一次性屏蔽全部参数,先分批次观察,避免误伤仍在产生流量的页面。
- 已经被收录的带参 URL 不必强行 404,通过 canonical 和 sitemap 逐步收敛通常更平稳。
- 注意参数是否被平台用于区分内容,例如多语言或货币切换,这类场景要单独判断。
- 定期回看是否出现新的参数来源,新渠道、新分享组件都可能引入新的标记。
怎么判断处理有没有生效
可以盯三个方向:日志里规范 URL 的抓取占比是否上升、带参 URL 是否下降;索引数据中带参地址的比例是否减少;抽查具体页面的收录地址是否已回到规范版本。这类变化不会在一两天内显现,按周看趋势比按天看波动更有意义。
参数收敛更适合当成一项长期约定:在新链接产出环节就定好规范,比攒到几万条再去清理省力得多。