蜘蛛发现新地址的方式很朴素：字符串比对。只要 URL 有一处不同，它就可能当成另一个地址排进抓取队列。站点如果对同一份内容留下几种地址形态，结果是抓取请求被分摊、日志里全是看不出区别的重复访问，运维排查时也很难判断哪些是真实的新页面。
一个内容多个地址，代价体现在哪
这种问题不会立刻爆发，而是慢慢显形：
- 抓取次数被拆成几份，同一份内容要爬好几次才轮到真正的新页面；
- 内链指向不统一时，页面之间传递的信号被劈成几股；
- 日志统计失真，看起来访问量不低，实际上多数是变体地址；
- 后续做改版或下线时，漏掉某个变体，它会一直以旧形态存在。
常见的地址变体从哪来
尾斜杠与扩展名
同一个目录页，带斜杠和不带斜杠在很多服务器上都能正常返回内容，但它们是两个字符串。类似的情况还有 /about 与 /about.html、/about/ 与 /about/index.html。如果服务器没有做统一跳转，两种写法都能 200 返回，蜘蛛就会各抓一份。
大小写混用
URL 路径部分在多数系统里区分大小写，/Product/A1 和 /product/a1 是两个地址。站内链接、外部引用、用户手输各写一种，就会出现多个版本。建议从一开始就统一小写，并让服务器把大写形态 301 到小写形态。
参数顺序与跟踪参数
?a=1&b=2 与 ?b=2&a=1 在参数含义上完全一样，但地址字符串不同。再叠加来源跟踪参数、会话参数，同一页面可以衍生出很多地址。处理思路是：能固定顺序就固定，跟踪参数尽量放在跳转后清除，不参与页面寻址的参数不要留在正式链接里。
协议与主机名
http 与 https、带 www 与不带 www，是四组常见组合。选定一种并做全局 301，比在每个页面加 canonical 更彻底，也能减少蜘蛛在跳转上浪费的时间。
收敛的具体做法
- 先定规则：把尾斜杠、大小写、协议、主机名各定一种标准形态，写进开发规范，别指望上线后再补。
- 服务器层 301：在 Web 服务器或 CDN 层做统一跳转，这是覆盖面最广的一层，能拦住站外引用和用户手输带来的变体。
- 页面层 canonical：对于服务器不好处理的参数变体，用 canonical 指向规范地址，作为补充信号。
- 内链与 Sitemap 只写规范地址：站内所有链接、分页链接、面包屑、Sitemap 里的地址都统一成选定的形态，不要一半带斜杠一半不带。
- 谨慎使用 robots.txt 屏蔽变体：屏蔽之后蜘蛛无法读到跳转和 canonical 信号，两个地址之间的关系更难合并；多数情况下用 301 比屏蔽更合适。
收敛之后怎么验证
改完不要只看页面能不能打开，重点看蜘蛛的行为有没有变化：
- 从抓取日志里筛出这些变体地址，观察一段时间内的请求次数是否下降；
- 用抓取工具模拟蜘蛛访问变体地址，确认返回的是 301 而不是 200；
- 检查站内链接，重点是导航、面包屑、分页和页脚，这类链接出现不一致时影响面最大；
- 观察新页面的首次被抓时间，如果变体收敛有效，抓取请求会更多落在真正的新地址上。
地址收敛不是一次性的配置工作，而是会随着新功能上线反复出现的维护项。每次加参数、加子域名、改路由规则，都值得回头检查一遍。
简单说，能靠服务器 301 解决的，就不要留到 canonical 层面兜底；能统一在链接生成逻辑里的，就不要靠人工发现。把地址形态收窄之后，蜘蛛的抓取路径会更清晰，日志也更容易读懂。