同一段内容，如果可以通過多個 URL 打開，搜尋引擎會把它們当成不同頁面分別處理。结果往往是：收錄數量看着不少，但每條都單薄，權重被摊薄，頁面改版或下线时還會留下散落的舊地址。問题通常不在内容本身，而在 URL 没有归一化。
常见的几類 URL 變体
- 大小寫：/About 與 /about，服務器若都返回 200，就是两條记錄。
- 尾斜杠：/news 與 /news/，很多框架預設两者都能訪問。
- 协议與主机：http 與 https、带 www 與不带 www，四種组合都可能被分別抓取。
- 參數顺序與冗余參數：?a=1&b=2 與 ?b=2&a=1 内容一样；加上 utm 追踪參數後又多出一批地址。
- 路径细节：/index.html、重复斜杠 //a、编碼後的中文與空格。
為什么這會拆散收錄
蜘蛛按 URL 去重，不按頁面内容去重。只要服務器對每個變体都返回 200，就等于告诉搜尋引擎這是多份獨立副本。canonical 是提示而非强制指令，它可以在一定程度上帮助收口，但前提是這些變体本身能被稳定抓取到，且信号一致。
更常见的隐患来自内鏈：導航、面包屑、列表頁里混用带斜杠和不带斜杠的地址，蜘蛛就會沿着這些連結持續發現新變体，收錄被越拆越细。
收敛顺序：從服務器到内鏈
- 先统一主机與协议。選定一個唯一形式，其余全部 301，注意重定向鏈尽量不要超過一跳。
- 定一個尾斜杠策略。目錄式 URL 带斜杠、文件式不带，全站保持一致，不要按頁面随意决定。
- 大小寫强制统一。服務器层或框架层把小寫作為唯一形式，其余 301 過去。
- 參數做减法。必要參數保留，位置無關的參數按固定顺序輸出，追踪類參數在服務端剥离或屏蔽抓取。
- 内鏈、站点地图、分頁只輸出規范形式。這是最容易被忽略、也最容易反複製造變体的一环。
- canonical 作為兜底。在無法做 301 的场景（比如參數頁）标注，指向規范地址，且與内鏈指向保持一致。
自查可以從三個地方入手
- 日誌：看被高频抓取的 URL 里有没有同一路径的大小寫、斜杠變体。
- site: 查询與站長後台的網址检查：抽样看收錄的是哪一種形式。
- 服務器响應：随机抽几條變体，確認返回的是 301 還是 200。
判断标准很简單：如果两個 URL 打開後内容完全一致，而它們都不是重定向關系，那基本可以認為其中一條是多余的。
几個容易踩的坑
一是只改了前端連結，舊地址仍然 200，等于没收敛。二是重定向鏈太長，A 跳 B 跳 C，抓取效率會打折。三是表單或篩選产生的 GET 參數被大量連結引用，最好配合 robots.txt 或參數處理規則限制。四是改版迁移时只處理了首頁級 URL，深层路径的變体被遗漏。
URL 归一化不會直接带来收錄增長，它做的是减少無效副本、让信号集中。這件事越早做越省事，越晚做，需要清理的舊地址就越多。