做站内检查时，经常能看到同一个页面通过好几个 URL 都能打开。比如 http 和 https 各一份，带 www 和不带 www 各一份，有的结尾带斜杠，有的不带，路径里的大小写也不完全一致。对访客来说，这些地址看到的页面差不多；对搜索引擎来说，它们有可能是不同的 URL，抓取和索引时就会分开处理。
常见的 URL 变体有哪些
下面这些差异最容易在日志和索引里同时出现：
- 协议不同：http:// 和 https:// 指向同一套内容。
- 主机名不同：example.com 和 www.example.com 都能访问。
- 结尾斜杠：/about 和 /about/ 返回同一页。
- 大小写：/Article/ 和 /article/ 在部分服务器上都能命中。
- 默认文件：/index.html 和 / 都能打开首页。
- 查询参数顺序：?a=1&b=2 和 ?b=2&a=1 内容相同。
它们不一定都会被索引，但只要服务器都返回 200，蜘蛛就可能分别抓取。抓取次数多了，真正需要更新的页面反而被挤占。
为什么需要做归一化
归一化的目标不是“消灭所有参数”，而是让每个内容只对应一个主 URL。主 URL 确定后，内链、sitemap、canonical 都指向它，外部链接和站内点击才能集中。否则可能出现：同一篇内容有几个版本都在索引里，标题和摘要互相竞争；统计工具里页面数据被拆成几行，看不出真实表现。需要说明的是，归一化是减少重复和分散，并不保证某个 URL 一定被收录。
怎么自查 URL 变体
- 从服务器访问日志里筛出返回 200 的 URL，按路径分组，看同一路径出现了几种主机名、协议和结尾写法。
- 用 site 查询或索引报告查看同一标题是否对应多个地址，注意排除正常的参数页。
- 抽查内链和 sitemap：同一个页面是否一会儿链接到带 www 的版本，一会儿链接到不带 www 的版本。
- 检查 canonical 标签：它指向的 URL 是不是当前页面实际返回的主版本。如果 canonical 指向一个会 301 的地址，蜘蛛还需要多跳一步。
统一处理顺序
比较稳妥的做法是先定主 URL，再逐层收敛：
- 确定首选协议和主机名。例如统一到 https://www.example.com，其他版本做 301 跳转。
- 统一结尾斜杠规则。目录页带斜杠、文件页不带斜杠，或全站统一一种，然后让另一种 301 过去。
- 处理大小写。服务器层面尽量做 301，把大写路径跳到小写版本，避免两套路径同时可访问。
- 首页和默认文件。把 /index.html 301 到 /，内链直接用根目录。
- 查询参数。对内容无影响的参数（如跟踪参数）可以用 canonical 指向无参数版本，或在服务器和 CDN 层做规则。真正影响内容的参数保留，不要一刀切。
- 内链和 sitemap 同步。站内链接、面包屑、分页、sitemap 里都写主 URL，不要混用跳转版本。
过程中容易忽略的细节
- 301 要跳转到最终主 URL，不要跳到一个还会再跳的中间地址，否则蜘蛛要连续跟随多次。
- canonical 是提示，不是强制指令。如果站内大量内链仍指向旧写法，蜘蛛还是会去抓。
- CDN、反向代理和源站规则可能不一致，改完要在外网环境实测，确认返回码是 301 而不是 302 或 200。
- HSTS、证书和端口也会影响访问，但不必为了归一化频繁改动，保持稳定更重要。
- 如果站点已经有较多外链指向非主版本，301 能传递信号，但效果需要时间观察，不建议反复更换主版本。
归一化的判断标准很简单：当你在浏览器里输入任意一种常见写法，最终都落到同一个主 URL，并且站内所有链接也都指向它。
URL 归一化是站点运营里的基础工作。它不能直接决定收录，但能减少重复抓取和权重分散，让蜘蛛把时间花在真正需要发现和更新的页面上。定期从日志里抽查一遍，比等到索引报告出现大量重复再处理要省事。