很多站点都存在这种情况：一份内容通过好几种写法都能打开，服务器对每一种都返回 200。对用户来说没差别，对爬虫来说却是若干个互不相干的 URL。处理这类等价地址，不需要多复杂的工具，关键是顺序别搞反。
先确认哪些写法指向同一个页面
常见的等价变体大致有这几类：
- 协议：http 与 https 同时可访问，且没有互相跳转。
- 主机名：带 www 与不带 www 都能打开。
- 末尾斜杠：/page 与 /page/ 各返回一份内容。
- 大小写：在大小写敏感的服务器上，/Page 与 /page 是两个地址。
- 默认文档：/page/ 与 /page/index.html 并存。
- 端口：把 :80、:443 显式写进链接。
- 参数顺序：?a=1&b=2 与 ?b=2&a=1 对应同一结果页。
- 跟踪参数：链接被加了 utm、分享来源等附加参数，页面内容不变。
先做一次抽样：从日志或站点地图里捞一批 URL，把这些形态各访问一遍，看哪些返回 200、哪些已经跳转、哪些跳到别处。这一步的结论决定了后面要改什么，不要凭印象动手。
不统一会带来什么
问题通常不是立刻显现，而是慢慢累积：
- 内链和外部链接被分摊到多个地址上，页面得到的信号被稀释。
- 同一个页面的多个形态都被抓取，抓取次数花在了重复的事情上。
- 日志分析失真，你以为某个栏目流量好，其实拆成了几条。
- 站点地图、canonical、跳转规则三者不一致时，爬虫收到的提示互相矛盾。
这些后果都不是必然发生，但一旦出现，排查成本会明显高于提前统一。
治理顺序：先定主形态，再让其他形态退场
- 确定唯一主 URL。 域名用带 www 还是不带、协议用 https、目录结尾用哪种、大小写怎么定，逐条写进团队规范。主形态一旦确定，就不要因为改版或换人再改第二次。
- 在服务器层做 301。 非主形态统一 301 到主形态，不要用 302、307 这类临时跳转代替。跳转要一步到位，避免 A 跳 B、B 再跳 C 的链式结构。
- 让 canonical 与 301 目标一致。 页面上的 canonical 指向的地址，必须是能直接返回 200 的主形态，而不是跳转链的中间地址。两边指向不同，等于自己给自己制造信号冲突。
- 统一站内链接、导航与站点地图。 内链是爬虫发现地址的主要入口，只要站内还混用着旧写法，前两步的效果就会被持续抵消。历史文章里的旧链接建议安排一次批量替换。
- 参数分两类处理。 影响页面实质内容的参数（例如筛选、排序结果页）适合保留，但控制组合数量并给出可索引的范围；纯粹的跟踪参数则统一去掉或在服务器层跳回无参数地址。
- 观察收口情况。 看日志里各变体的抓取占比是否下降，看同一内容的重复条目是否减少，看站点地图里的 URL 数量是否和实际主 URL 数量接近。
顺序上最容易搞反的地方
不少站点先给页面加 canonical，却迟迟不改服务器跳转，结果同一个地址既能打开又声明指向别处。更稳妥的做法是先固定服务器层规则，再统一页面上的信号，最后统一内链。层与层之间的目标地址保持一致，爬虫才不需要猜。
不建议做的几件事
- 用 JavaScript 或 meta refresh 做规范化跳转，识别慢，还容易留下中间地址。
- 对同一份内容既做 301 又加 noindex，两种信号叠在一起。
- 为了省事把带内容的参数页整体屏蔽，可能同时挡住有效的入口。
- 只改首页和导航，不管历史内链和已经存在的外部链接。
等价 URL 的治理不是一次性任务。新增模板、新接的统计脚本、运营临时加的分享链接，都可能重新引入变体。把它当成发布流程里的一个检查项，比事后集中清理省力。
怎么判断有没有收口
可以盯几个简单的指标：日志中各变体的抓取次数是否在下降；站内搜索同一关键词时，是否还会出现同一内容的多个地址；站点地图提交的 URL 与主形态清单是否一致；页面上的 canonical 是否长期稳定指向同一个地址。若这些指标没有明显变化，先回头检查跳转是否一步到位、内链是否还有漏改，而不是急着调整内容本身。