做站点运营时，经常會遇到一個看似简單的問题：同一個頁面，在索引里却出現了好几個地址。它們内容几乎一样，只是 URL 寫法不同。這類問题不一定會立刻影响抓取，但會让後續的收錄观察、頁面质量判断和 URL 規范管理變得混乱。
URL 變体通常從哪来
一個頁面的多種寫法，往往不是有人故意制造，而是站点配置、連結习惯和參數机制共同产生的。常见来源包括：
- 主机名寫法不同，例如带 www 與不带 www 同时可訪問。
- 协议混用，http 與 https 都返回正常内容。
- 路径结尾斜杠不一致，/page 與 /page/ 都能打開。
- 路径大小寫不同，/Article 與 /article 被当成两個地址。
- 參數顺序或跟踪參數不同，例如 utm 參數、會话 ID、排序參數。
- URL 编碼方式不同，中文或特殊字符被编碼成不同形式。
這些變体如果都返回 200 狀態碼，蜘蛛在抓取时可能都會訪問一遍。抓取到内容並不等于索引里會保留多個版本，但站点如果不给出明确信号，索引阶段只能自己判断，结果未必符合预期。
抓取阶段與索引阶段的取舍並不完全相同
蜘蛛發現多個 URL 寫法後，通常會分別抓取。到了索引處理阶段，系統會尝试判断這些頁面是否属于同一内容，並選擇一個代表版本繼續處理。也就是说，抓取多次不等于收錄多個，但也不代表可以放任不管。
如果站点没有明确的規范版本，索引可能在不同時間選擇不同地址作為代表。表現就是：有时看到带參數的版本，有时看到不带參數的版本；頁面改版或連結變化後，代表版本還可能更換。對运营来说，這會增加核對收錄狀態的难度。
URL 規范的目标不是强行让索引只保留一個地址，而是让站点自己先说清楚：哪個是主版本，其他版本應该怎么處理。
先给每個頁面定一個主 URL
收敛重复版本之前，需要先确定主 URL。可以按下面的顺序梳理：
- 统一主机與协议：選定 www 或非 www、http 或 https，其余寫法用 301 跳轉到主版本。
- 固定路径規則：结尾斜杠要么统一保留，要么统一去掉，不要两種都能訪問。
- 清理非必要參數：跟踪參數、會话參數不應參與内容识別；排序、篩選參數如果内容确實不同，再單獨考虑。
- canonical 指向自身：主版本頁面上的 canonical 應指向自己，而不是指向另一個近似地址。
- 站内連結统一：導航、面包屑、列表頁和正文里的連結都使用主版本寫法。
這五步里，站内連結统一最容易被忽略。如果站内到處混用带斜杠和不带斜杠的連結，蜘蛛每次抓到的入口都不一样，收敛速度會變慢。
收敛過程中容易踩的坑
- canonical 與 301 混用：對同一個舊地址，既做跳轉又保留 canonical，信号容易互相干扰。通常優先用 301 處理明确的舊地址。
- 參數頁 canonical 指向主版本，但内容不同：如果篩選頁确實展示了不同商品或不同文章，强行指向主版本可能让這部分内容失去被抓取的机會。
- 大小寫跳轉不完整：只處理了部分路径，仍有大寫版本可訪問。
- 站点地图里放了多個版本：站点地图應尽量只提交主 URL，避免主動把變体送给蜘蛛。
怎么观察收敛是否有效
調整 URL 規范後，不要期待第二天就完全一致。可以通過几類信号交叉观察：
- 抓取日誌里，同一個頁面的不同寫法是否還在被频繁訪問。
- 站内搜尋结果或索引狀態查询中，看到的代表 URL 是否逐渐统一。
- 站点地图提交的主 URL 與實际被處理的 URL 是否一致。
- 新發布的頁面是否從一開始就用统一寫法，而不是先产生變体再补救。
如果發現索引里仍有舊版本，先確認跳轉和 canonical 是否稳定，再检查站内是否還有舊連結指向變体。URL 規范的收敛更像一次清理過程，重点是让站点持續輸出一致信号，而不是频繁修改規則。