同一篇文章在搜尋结果里出現两條，点開内容几乎一样，只是 URL 一個带斜杠一個不带，或者大小寫不同。這類情况在收錄核對里很常见。處理的關键不是急着提交刪除，而是先確認服務端和站内連結有没有把各種寫法導向同一個規范地址。
先確認現象：是索引版本重复，還是只有抓取记錄重复
日誌里出現多種 URL 寫法，並不等于它們都被收錄。蜘蛛可能只是试探性抓取，随後按 301 跳到規范地址。先分清這两件事，能避免做多余的清理工作。
- 抓取日誌按路径分组統計狀態碼：200 與 301 的比例大概是多少，非規范寫法是不是稳定跳轉。
- 搜尋结果的呈現只能作為參考，site 指令或标题搜尋看到多個版本，不等于索引里真的存了多份。
- 用 URL 检查類工具看“用戶声明的規范網址”和“系統選擇的規范網址”是否一致，這是最直接的判断依據。
常见的四類變体来源
- 协议：http 與 https 同时可訪問，且没有强制跳轉。
- 主机名：带 www 與不带 www 各自返回 200。
- 路径末尾斜杠：/a 和 /a/ 都能打開同一份内容。
- 大小寫與编碼：/Page 與 /page、中文路径未编碼與已编碼的寫法混用。
需要特別留意大小寫：Linux 环境下路径区分大小寫，/Page 與 /page 是两個不同文件；而 Windows 或部分 IIS 环境預設不区分。同一個站点在不同服務器或 CDN 节点上，表現可能不一致。
處理顺序：先服務端归一，再统一站内引用
- 确定唯一規范形態。结合已有的外部連結、站点地图里的寫法、歷史流量入口来選，不要中途反复換。
- 服務端做 301。把非規范變体统一 301 到規范地址，規則尽量放在反向代理或 CDN 之前一层，同时確認没有形成 A→B→C 的跳轉鏈。
- 统一站内引用。導航、面包屑、列表頁、分頁、相關推荐、文章正文里的内鏈，都改成規范寫法。内鏈是站内最常见的變体来源。
- 站点地图只放規范 URL。不要同时提交带斜杠和不带斜杠两種，否則等于自己制造歧义。
- canonical 自指。規范頁面對自己声明 canonical；暂时無法做 301 的變体頁，可以先用 canonical 指向規范頁作為過渡。
- 處理外部引用。能联系到的合作方和舊稿内鏈尽量改，改不了的靠 301 慢慢吸收。
核對时容易踩的三個坑
- 只依赖 canonical。canonical 是提示性信号，服務端跳轉更明确，两者配合才稳。
- 缓存键不分大小寫。CDN 的缓存策略可能让 301 規則失效，或者直接返回了缓存内容，核對时要绕開缓存驗證一次。
- 用 302 顶替 301。临时跳轉传递的規范信号弱，鏈條一長，蜘蛛容易停在中途不再跟進。
索引版本的合並需要時間。處理完後先看日誌里非規范寫法的狀態碼是否稳定為 301，再去核對索引报表，顺序反了會得出错誤结论。
處理完之後看什么
可以關注三類變化：非規范 URL 的抓取量是否下降；規范 URL 的抓取和展現是否更集中；索引覆盖里“重复網頁，系統選擇的規范網頁與用戶声明不同”這類狀態是否减少。這些指标通常滞後，看到趋势比看到單日數字更有意义。
URL 归一属于基础工程，一次做對，後續再做收錄核對时會少很多要排查的分支。