重复URL為什么會干扰收錄
同一個頁面可以通過不同URL訪問，比如带參數、大小寫不同、有無结尾斜杠、HTTP與HTTPS版本並存。對搜尋引擎来说，這些URL在未被合並前可能被当作獨立地址處理。抓取资源有限，如果大量重复版本都進入抓取队列，真正需要更新的頁面就可能被延後。收錄层面也會出現多個版本轮流出現在索引里的情况，影响站点對URL身份的判断。
處理重复URL时，最常用的两個工具是 canonical 标簽和 301 重定向。它們都能表達“多個地址指向同一内容”的意图，但工作方式不同，不能简單互換。
canonical 是提示，301 是跳轉
canonical 寫在頁面 HTML 的 head 里，告诉搜尋引擎“這個頁面希望被当作哪個URL的副本”。它是一個提示信号，搜尋引擎會參考，但不保證一定完全按它执行。301 是服務器层面的永久重定向，用戶和蜘蛛訪問舊URL时會被直接带到新URL，舊URL通常不再作為獨立頁面返回内容。
简單说，canonical 保留多個URL可訪問，只是指定首選版本；301 則让舊URL不再直接提供内容，把訪問和信号都轉移到新URL。两者對抓取和索引的影响不同，選擇时要看URL是否還需要獨立存在。
适合用 canonical 的场景
- 同一商品或文章有带跟踪參數的URL，但希望主版本被索引。
- 分頁、排序、篩選产生的近似頁面，希望保留用戶可訪問，但指定一個規范版本。
- 多個URL内容基本相同，站点暂时不想做重定向，只想表達合並意图。
- 跨协议或跨域名變体，需要声明首選URL，但舊地址仍需可訪問。
适合用 301 的场景
- 網站改版、換域名或調整URL结构，舊地址不再使用。
- HTTP 升級到 HTTPS，希望把流量和索引集中到安全版本。
- URL 大小寫、结尾斜杠等寫法错誤，需要统一到唯一地址。
- 已确定某個頁面永久迁移，舊URL没有保留價值。
同时使用时容易出現的冲突
有些站点會在舊URL上同时設定301和canonical，指向不同地址。比如A頁面301到B，但A的canonical又寫C。這種信号不一致會让搜尋引擎难以判断首選版本，可能延長處理時間，也可能让索引停留在中間狀態。
另一種常见情况是：canonical指向的URL本身返回404、被robots.txt屏蔽或带noindex。這时canonical的合並意图很难被采纳，因為目标地址無法作為有效版本被索引。检查canonical时，要確認目标URL可抓取、可索引、内容與目前頁一致。
canonical 和 301 都只是表達站点意图，最终如何處理仍由搜尋引擎根據抓取结果、頁面质量和連結信号综合判断。不要把它們当成强制收錄或强制替換的命令。
怎么检查合並结果
- 用抓取工具查看頁面的 HTTP 狀態碼、canonical 标簽和 robots 指令，確認三者没有互相矛盾。
- 在搜尋控制台或索引狀態查询中，检查首選URL是否被收錄，舊URL是否逐渐减少出現。
- 观察蜘蛛日誌，看舊URL的抓取频率是否下降，新URL是否開始被稳定抓取。
- 如果長期没有變化，先核對頁面内容是否确實高度相似，以及内鏈和站点地图是否都指向首選版本。
合並重复URL不是一次設定就結束的事。尤其在大站点或改版過程中，舊連結、外部引用和缓存頁面會持續带来訪問。定期抽查几组代表性URL，比一次性全站替換更稳妥。
小结
canonical 适合保留多個可訪問地址並声明首選版本，301 适合彻底迁移不再使用的舊地址。两者可以配合，但方向要一致，目标URL要可索引。把重复URL的合並意图表達清楚，能减少抓取浪費，也让收錄狀態更容易核對。