做站内检查时，经常能看到同一個頁面通過好几個 URL 都能打開。比如 http 和 https 各一份，带 www 和不带 www 各一份，有的结尾带斜杠，有的不带，路径里的大小寫也不完全一致。對訪客来说，這些地址看到的頁面差不多；對搜尋引擎来说，它們有可能是不同的 URL，抓取和索引时就會分開處理。
常见的 URL 變体有哪些
下面這些差异最容易在日誌和索引里同时出現：
- 协议不同：http:// 和 https:// 指向同一套内容。
- 主机名不同：example.com 和 www.example.com 都能訪問。
- 结尾斜杠：/about 和 /about/ 返回同一頁。
- 大小寫：/Article/ 和 /article/ 在部分服務器上都能命中。
- 預設文件：/index.html 和 / 都能打開首頁。
- 查询參數顺序：?a=1&b=2 和 ?b=2&a=1 内容相同。
它們不一定都會被索引，但只要服務器都返回 200，蜘蛛就可能分別抓取。抓取次數多了，真正需要更新的頁面反而被挤占。
為什么需要做归一化
归一化的目标不是“消灭所有參數”，而是让每個内容只對應一個主 URL。主 URL 确定後，内鏈、sitemap、canonical 都指向它，外部連結和站内点击才能集中。否則可能出現：同一篇内容有几個版本都在索引里，标题和摘要互相竞争；統計工具里頁面資料被拆成几行，看不出真實表現。需要說明的是，归一化是减少重复和分散，並不保證某個 URL 一定被收錄。
怎么自查 URL 變体
- 從服務器訪問日誌里筛出返回 200 的 URL，按路径分组，看同一路径出現了几種主机名、协议和结尾寫法。
- 用 site 查询或索引报告查看同一标题是否對應多個地址，注意排除正常的參數頁。
- 抽查内鏈和 sitemap：同一個頁面是否一會儿連結到带 www 的版本，一會儿連結到不带 www 的版本。
- 检查 canonical 标簽：它指向的 URL 是不是目前頁面實际返回的主版本。如果 canonical 指向一個會 301 的地址，蜘蛛還需要多跳一步。
统一處理顺序
比較稳妥的做法是先定主 URL，再逐层收敛：
- 确定首選协议和主机名。例如统一到 https://www.example.com，其他版本做 301 跳轉。
- 统一结尾斜杠規則。目錄頁带斜杠、文件頁不带斜杠，或全站统一一種，然後让另一種 301 過去。
- 處理大小寫。服務器层面尽量做 301，把大寫路径跳到小寫版本，避免两套路径同时可訪問。
- 首頁和預設文件。把 /index.html 301 到 /，内鏈直接用根目錄。
- 查询參數。對内容無影响的參數（如跟踪參數）可以用 canonical 指向無參數版本，或在服務器和 CDN 层做規則。真正影响内容的參數保留，不要一刀切。
- 内鏈和 sitemap 同步。站内連結、面包屑、分頁、sitemap 里都寫主 URL，不要混用跳轉版本。
過程中容易忽略的细节
- 301 要跳轉到最终主 URL，不要跳到一個還會再跳的中間地址，否則蜘蛛要连續跟随多次。
- canonical 是提示，不是强制指令。如果站内大量内鏈仍指向舊寫法，蜘蛛還是會去抓。
- CDN、反向代理和源站規則可能不一致，改完要在外網环境實测，確認返回碼是 301 而不是 302 或 200。
- HSTS、證书和端口也會影响訪問，但不必為了归一化频繁改動，保持稳定更重要。
- 如果站点已经有較多外鏈指向非主版本，301 能传递信号，但效果需要時間观察，不建议反复更換主版本。
归一化的判断标准很简單：当你在浏览器里輸入任意一種常见寫法，最终都落到同一個主 URL，並且站内所有連結也都指向它。
URL 归一化是站点运营里的基础工作。它不能直接决定收錄，但能减少重复抓取和權重分散，让蜘蛛把時間花在真正需要發現和更新的頁面上。定期從日誌里抽查一遍，比等到索引报告出現大量重复再處理要省事。