做收錄检查时，常會遇到一種情况：某個頁面明明只有一份内容，但用不同寫法訪問都能打開，搜尋索引里也留下了不止一條记錄。問题往往不在内容，而在 URL 本身——同一份内容對應了多個地址寫法，蜘蛛把它們当成不同頁面分別處理了。
同一頁面的多種寫法是怎么来的
绝大多數變体不是有人故意造的，而是技術细节自然产生的：
- 协议與主机名：http 與 https、带 www 與不带 www，如果两邊都能打開又没有跳轉，就等于两套地址。
- 结尾斜杠：/about 和 /about/ 在部分服務器上返回同一頁面，在另一部分服務器上却是两個不同结果。
- 字母大小寫：/Product 與 /product，在区分大小寫的环境下常被当作两個路径。
- 預設文件名：/category/ 與 /category/index.html。
- 中文與特殊字符编碼：浏览器地址栏顯示為中文的路径，實际传輸时是百分号编碼，两種寫法有可能都被记錄。
- 參數顺序與無意义參數：?a=1&b=2 與 ?b=2&a=1，或分享連結里自带的一串跟踪參數。
抓取和收錄不是一回事，變体會让两者都被放大
被抓取不等于會被收錄，蜘蛛抓到頁面後還要判断内容质量、是否重复、以哪個地址為准。但一個頁面如果存在四個可訪問地址，蜘蛛就有机會抓四次、留下多條记錄，把本该集中在一處的信号分散開。收錄层面的表現是：索引里出現多份相似内容，規范地址可能不是你希望的那一個；抓取层面的表現是，蜘蛛的時間被重复路径占掉一部分。
先盘点，再决定保留哪個地址
- 從服務器日誌里按路径去重，找出返回 200 且内容相同的地址组。
- 對比 sitemap、内部連結、外鏈中實际使用的寫法是否一致。
- 為每组确定保留地址，優先選已经有外鏈、相對稳定的那個，不要频繁更換。
- 其余寫法用 301 永久跳轉到保留地址，而不是让两邊都保持可訪問。
規范信号要统一，而不是各说各话
服務器层
用 301 把 http 到 https、非 www 到 www、错誤大小寫到正确形式、index.html 到目錄地址這類變体收口。跳轉鏈尽量只有一跳，避免 A 跳到 B 再跳到 C。
頁面层
canonical 寫保留地址的绝對 URL，並且要和内鏈、sitemap 里的寫法完全相同。如果頁面 canonical 指向 A，而導航連結全指向 B，蜘蛛收到的信号就是矛盾的。
其他入口
分享出去的歷史連結、合作方頁面上的連結、邮件模板里的地址，也會被蜘蛛沿路發現。改版时能同步更新的就更新，不能更新的靠 301 兜底。
几個容易忽略的细节
- 大小寫問题在本地開發环境常被掩盖，上线到区分大小寫的服務器才暴露出来。
- 中文路径建议统一以百分号编碼寫入 sitemap，避免不同工具解析出两種寫法。
- 分頁、篩選這類确實需要多個地址的场景，要么把規范指向主列表頁，要么控制抓取，按頁面性质選擇。
- 調整規范設定後，索引里的舊记錄不會立刻消失，需要時間重新评估。
URL 變体本身不算错誤，把它当成多個頁面分別维護才是問题。規范化的目标是让同一份内容在外面只有一個稳定的代表地址。
落地时可以先挑訪問量較高的一小段路径做實驗，观察日誌里的抓取路径是否收敛、索引中的重复记錄是否减少，再决定要不要推廣到全站。