为什么同一个页面会变成多个 URL
很多站长盯着内容质量和外链，却忽略了 URL 本身。实际上，搜索蜘蛛发现 URL 时，首先看的是字符串。大小写、尾斜杠、协议、www、默认端口、index.html 等写法只要有一点不同，就可能被当成不同地址。搜索引擎会做一些归一化判断，但这种判断不是百分百可靠。结果就是同一个页面被多次抓取，收录里出现多个版本，权重也被分散。
常见的 URL 不统一写法
- 大小写混用：/About 和 /about 在 Linux 服务器上可能是两个不同路径，蜘蛛会分别请求。
- 尾斜杠差异：/news 和 /news/ 可能返回同一内容，也可能一个 301 到另一个。若没统一，两个都可能被访问。
- 协议差异：http 和 https 如果都能访问，等于两套站点。蜘蛛不会自动把两者完全合并。
- www 与不带 www：www.example.com 和 example.com 默认是两个主机名，需要明确一个主版本。
- 默认端口和 index 文件：:80、:443、/index.html 等写法在链接里出现时，也会被当成新 URL。
不统一会带来什么实际影响
最直接的影响是抓取预算被浪费。搜索蜘蛛在同一份内容上反复请求不同 URL，真正需要抓取的新页面反而排不上。其次是收录结果混乱：site 查询里可能同时出现多个版本，用户和搜索引擎都不确定哪个是主页面。再次是链接权重分散，外链指向不同版本时，单个 URL 获得的信号被稀释。对于内容页来说，这会让排名表现变得不稳定。
URL 规范化不是为了让蜘蛛更喜欢你，而是为了让同一个页面只有一个明确地址，减少不必要的重复抓取。
排查顺序：先看日志，再看收录
- 从服务器日志里筛选同一路径的不同写法，观察是否都有搜索蜘蛛访问。重点看大小写、尾斜杠、协议和 www。
- 用 site 查询或索引检查工具，看同一内容是否出现多个 URL 版本。
- 检查内部链接是否统一。导航、面包屑、分页、文章正文里的链接如果混用，蜘蛛就会顺着不同写法爬。
- 检查 canonical 是否指向规范版本。canonical 是辅助信号，不能替代服务端重定向。
- 检查 sitemap 里是否只放规范 URL。sitemap 放多个版本等于主动告诉蜘蛛这里有很多地址。
怎么收口：以 301 为主，其他做辅助
最稳妥的方式是在服务端做 301 重定向。把所有非规范写法统一跳到规范 URL，并且跳转目标要一步到位，不要形成重定向链。比如决定使用 https://www.example.com/ 作为主版本，那么 http、不带 www、带 index.html、大写路径都应 301 到对应的小写规范地址。
如果服务器或 CDN 支持，可以用规则批量处理，而不是逐条写重定向。规则要按优先级排列，避免互相覆盖。对于尾斜杠，要明确目录和文件的不同策略：目录统一带斜杠，文件统一不带。对于大小写，建议全站统一小写，并在服务器层面强制。
内部链接和 sitemap 要同步
重定向只是兜底。更根本的是内部链接不再产生非规范 URL。CMS 模板、导航菜单、相关阅读、分页组件都要输出规范写法。sitemap 只提交规范 URL，并且保持更新。这样蜘蛛从站内发现的地址从一开始就是统一的。
canonical 什么时候用
canonical 适合处理参数、排序、打印版等动态变体。但它不是重定向，用户仍能访问变体页面。如果变体页面有独立入口，蜘蛛仍可能抓取。因此 canonical 要和 301、robots.txt、noindex 配合使用，具体要看页面是否还需要保留给用户访问。
观察收口后的变化
做完重定向和链接统一后，不要期待第二天就完全合并。搜索蜘蛛需要重新抓取旧 URL，发现 301，再更新索引。通常要观察几周。重点看：日志里旧写法的抓取是否减少，新规范 URL 的抓取是否稳定，site 查询里的重复版本是否收敛。如果旧 URL 仍有大量外链，可以保留 301 长期生效，不要急着下线。
URL 规范化属于基础工作，不会直接带来排名飞跃，但能减少重复收录和抓取浪费。把地址写法定清楚，搜索蜘蛛才有更多预算去发现和抓取真正有价值的内容。