很多站点的问题不是内容不够，而是同一个页面在服务器眼里有好几个身份。访客从首页点进去是 /seo/guide，从外部链接进来是 /SEO/Guide，自己手输又变成 /seo/guide/。对访问者来说没差别，对抓取和统计来说，这是三个页面。抓取预算被摊薄，内链权重被拆开，报表里的数据也对不上。
先搞清楚常见的有哪些 URL 变体
- 大小写差异：/About 和 /about 在部分服务器上指向不同资源，在另一些服务器上则两个都返回 200。
- 结尾斜杠：/news 与 /news/ 常常都能打开，返回的内容一模一样。
- 域名前缀：example.com、www.example.com，加上 http 与 https 混用，形成好几套入口。
- 默认首页文件名：/index.html、/index.php 与目录根地址同时可访问。
- 参数顺序：?a=1&b=2 和 ?b=2&a=1 内容一致，URL 却不同。
这些变体里只要有两三种同时存在，站内就会慢慢积累出一批影子页面。它们平时不显眼，等到盘点存量内容时才发现一堆重复。
为什么要花时间统一
- 重复内容：同一篇内容被当成多份，页面之间互相竞争。
- 权重分散：外部链接和站内链接分别指向不同写法，等于把票拆开投。
- 抓取浪费：蜘蛛把时间花在跳转和重复页上，真正需要更新的新页面反而排不上。
- 统计失真：访问日志和后台报表里，一个栏目被拆成几行数据，冷热判断就不准了。
- 缓存命中下降：CDN 和浏览器缓存按完整 URL 存，变体越多，缓存越碎。
自查：先把实际存在的变体找出来
- 手工测试。随机挑十个栏目页和二十个内容页，把大小写、结尾斜杠、www 与非 www、http 与 https 逐个试一遍，记录哪些直接打开、哪些发生跳转。
- 翻服务器访问日志。搜索同一路径的不同写法，看它们是否都在被真实请求，尤其是被蜘蛛请求。
- 看抓取记录里的重复。如果同一篇文章在日志里以多个 URL 出现，基本可以确认规范化没做好。
- 检查 sitemap 与站内链接。同一个栏目在主导航、面包屑、列表页、正文内链里的写法是否一致。
- 检查 canonical。页面头部声明的规范地址，是否与服务器实际跳转的目标完全相同。
这一步不要只看首页。栏目页和分页最容易出现斜杠不统一，老文章则常常留着早期的大小写写法。
统一实施：按顺序来，别一次全改
- 先定规则。确定唯一版本，比如统一小写、统一带 www、统一 https、内容页统一带结尾斜杠、目录页允许不带。规则要写成文字，方便后续核对。
- 服务器层做 301。在 Web 服务器或 CDN 上把各类变体跳到唯一版本。规则尽量简单明确，一条规则只处理一种情况，避免互相匹配造成循环。
- 再改站内链接。导航、面包屑、分页、正文内链、sitemap、RSS 输出全部换成规范写法，这一步比跳转更重要，跳转只是兜底。
- canonical 兜底。即使跳转漏了某条路径，页面本身也要声明规范地址，并且和跳转目标保持一致，不要一个指向带斜杠、一个指向不带斜杠。
- 观察一段时间。看日志里变体请求是否在减少，是否出现连环 301，新提交的 URL 是否正常返回。
几个容易踩的坑
- 大小写跳转不要写成不区分大小写的整站规则，容易把带参数的正常 URL 也卷进去。
- 跳转目标必须写最终地址，避免 A 跳到 B、B 又跳到 C 的链条。
- CDN 上缓存的旧跳转可能保留很久，改完规则记得刷新缓存再验证。
- 站点已有一定体量时，先拿一个栏目试点，确认无误再铺开。
- 改完之后，内部工具、旧文档、投放链接里的老地址也要同步更新，否则变体会继续从站外被带进来。
URL 规范化不是一次性任务。新上线的栏目、临时加的跳转、更换过的 CDN，都可能把老问题重新带回来，最好把它放进上线前的检查项里，每次改版顺手过一遍。
把 URL 当成页面的唯一身份证来对待，站点结构才谈得上清晰。规范统一之后，再去看抓取日志、栏目冷热、内链分布，数据才有参考价值。