同一個頁面，如果可以通過几種不同的 URL 打開，搜尋引擎很可能把它們当成几個不同的地址分別處理。這不會立刻引發故障，但時間一長，索引里同一份内容占掉多條位置，外鏈權重被摊薄，抓取配額也花在了重复地址上。URL 規范化的目标很简單：让每個頁面只有一個稳定、唯一的地址，其余寫法都用跳轉收口。
常见的几類 URL 變体
- 协议與主机名：http 與 https、带 www 與不带 www，甚至測試域名也能打開同一套内容。
- 大小寫：/About 與 /about 在部分服務器配置下是两個地址。
- 末尾斜杠：/news 與 /news/ 指向同一頁，却各自被訪問、被引用。
- 預設文件名：/news/ 與 /news/index.html 並存。
- 參數顺序：?a=1&b=2 與 ?b=2&a=1 内容一致，地址不同。
- 追踪與来源參數：utm_source、from、ref 這類參數被完整寫進連結。
- 编碼寫法：中文路径、空格、%20 的编碼方式前後不统一。
- 锚点片段：带 #section 的連結被当成新地址提交或引用。
這些變体往往不是一次产生的，而是随功能迭代、栏目搬迁、外鏈投放慢慢积累出来的。所以在核對之前，先接受一個前提：站点里已经存在多少種寫法，靠肉眼掃首頁是看不全的。
為什么值得單獨處理
收錄分散的直接後果不是“收錄變多”，而是报表失真。索引量看着涨了，實际可用的頁面並没有增加；同一條内鏈在不同入口指向不同版本，權重被拆成几份；爬虫反复抓取同一份内容的不同寫法，留给新頁面的抓取机會就變少。對用戶来说，收藏、分享出去的地址也可能落到非主域版本上，跳轉层級一多，体驗也随之打折。
收口的顺序
- 先定主版本：确定唯一的协议、主机名和端口，例如全站统一到 https 加主域名。這一步是後面所有動作的基准，定下来之前不要急着改連結。
- 用 301 收口：把其余版本（http、非 www、舊域名、带預設文件名）永久跳轉到主版本。優先做一步到位的跳轉，避免 A 跳 B、B 再跳 C 的鏈條。
- 站内連結统一寫法：導航、面包屑、正文内鏈、栏目列表都按主版本輸出。站内連結是最稳定的信号来源，它一致了，许多變体會自然减少被發現的次數。
- sitemap 與 canonical 對齐：站点地图里只放主版本地址；canonical 指向的地址必须能正常打開，並且和 301 的落点一致，不要出現 canonical 指 A、跳轉落 B 的冲突。
- 處理參數：追踪參數在服務端或前端拼連結时尽量去掉；确有必要的篩選參數，按頁型决定是放行還是挡在索引之外。
- 统一大小寫與斜杠規則：明确全小寫、目錄带斜杠、文件不带斜杠之類的規則，並在服務端做兜底跳轉。
容易忽略的细节
舊變体在跳轉上线後不會立刻從索引里消失，需要一段時間自然更替，期間不要反复改動跳轉目标。外鏈是最难控制的部分，投放前先核對落地地址，事後如果發現大量外鏈指向非主版本，可以考虑联系對方更新，或者靠 301 承接，不必追求一次性清零。
另一個常见問题是測試域名和预發环境對外可訪問。它們能被打開，就可能被抓到。给這類环境加訪問限制，比事後處理索引里的重复地址省事得多。
收口之後看什么
- 抽查：用站点查询或站内搜尋，看看同一内容是否還以多種寫法出現。
- 站長平台：按 URL 前缀篩選，观察非主版本的地址數量是否在减少。
- 抓取日誌：看請求命中的主机名與路径寫法，主版本占比是否上升。
- 内鏈：随机抽几十條站内連結，確認寫法與主版本一致。
URL 規范不是一次性項目，而是每次上线新功能、新栏目时顺手核一遍的习惯。發現一處不一致就顺手改掉，比攒到几百條再统一處理要轻松得多。