一個頁面，理论上應该只有一個地址。但在實际站点里，同一個頁面往往能出現好几種寫法：带尾斜杠和不带尾斜杠、大寫小寫混用、URL 後面挂着一長串參數。站内不同位置連結寫法不一致时，蜘蛛看到的可能就是几個看起来不同的地址。
一個頁面變成多個地址，通常出在哪儿
- 结尾斜杠：/about 和 /about/ 是不是同一個頁面，取决于服務器怎么處理。两邊都能正常返回内容时，客观上就是两個地址。
- 大小寫：/News 和 /news 在多數服務器上是不同的路径，即使它們渲染出同一個頁面。
- 跟踪參數：utm_source、utm_medium、fbclid、gclid 這類參數，每分享一次就可能生成一串新地址。
- 會话與篩選參數：sid、sort、page、filter 這類參數，用戶点几下就能组合出大量變体。
- 编碼差异：中文路径、空格、特殊符号會被编碼成百分号形式，不同地方编碼方式不一致时，地址也會不同。
- 内鏈寫法不统一：導航用绝對地址、正文用手寫相對地址，同一個頁面被鏈成了好几種寫法。
多地址會带来哪些實际問题
- 抓取被分散：蜘蛛可能把有限的時間花在同一份内容的不同地址上，真正需要被抓的新頁面反而排到後面。
- 信号分散：外鏈、内鏈、点击分別落在不同地址上，判断哪個是主版本时依據會被削弱。
- 重复内容：同一份内容以多個地址進入索引，索引要自己挑一份留下来，挑中的不一定是你在意的那份。
- 資料對不上：核對收錄覆盖率时，同一個頁面临时被算成好几條，數字會失真。
處理顺序：先统一站内，再處理外部
站内連結是最容易控制的一环，把這一环做干净，後面的事會简單很多。
- 定一套規則：是否带尾斜杠、路径是否统一小寫、哪些參數允许保留，寫進開發規范。
- 站内所有連結按規則生成：導航、面包屑、正文、站点地图、分頁，同一頁面只出現一種寫法。
- 服務器层面统一：把不規范的寫法 301 到規范地址，而不是让两邊都能打開。
- 在頁面里用 canonical 指明主版本，作為兜底，而不是唯一手段。
canonical 是一個提示，不是强制指令。它能帮助判断主版本，但不等于服務器重定向，两者不能互相替代。
跟踪參數和篩選參數怎么處理
跟踪參數往往是外部带進来的，站点控制不了別人怎么分享，但可以控制自己的响應方式：頁面里的 canonical 指向不带參數的版本；對外分享统一使用干净地址；纯篩選、纯排序類參數，可以考虑在 robots.txt 里限制抓取。
這里有一個常见誤解需要说清楚：限制抓取不等于该地址不會出現在索引里。如果別處有連結指向它，索引仍可能只凭連結信息把它收錄進来，只是内容片段會比較粗糙。所以 robots.txt 更适合当作减少抓取浪費的手段，而不是去重手段。
几個容易忽略的细节
- 換框架或改版後路由規則變了，舊寫法可能没配重定向，直接變成 404 或另一個頁面。
- 站点地图里给出的地址要和站内連結寫法一致，否則等于自己制造了两套地址。
- 搜尋框生成的站内搜尋结果頁，通常不适合進入索引，需要有明确處理方式。
- 中文 URL 建议统一编碼形式，避免同一路径出現两種百分号寫法。
自检可以從這几件事開始
- 随机挑几個頁面，用不同方式訪問（加不加尾斜杠、改大小寫），看服務器怎么响應。
- 用抓取工具拉一遍全站内鏈，看同一個頁面是否存在多種寫法。
- 核對站点地图與實际連結是否一致。
- 检查 canonical 是否指向真正對外的主版本，而不是另一個變体。
- 看服務器日誌里带參數的請求占比，判断參數變体有没有在被大量抓取。
URL 規范化不是一次性工作，更像一條需要長期维持的規則。站点结构越复杂、上下游改動越频繁，越容易重新長出不一致的地址。把規則寫進模板和發布流程，比事後一個個补重定向要省事得多。