站点改版、栏目合並、URL 規則重寫，這些操作在後台看起来只是一次配置變更，但對搜尋蜘蛛来说，相当于它手里那批舊地址一次性全部失效。抓取资源始终是有限的，如果舊地址長期不能收场，蜘蛛就會把预算花在跳轉和無效請求上，新頁面的抓取反而被拖慢。

改版之後，站内會同时存在两套地址

改版刚完成的那段時間，是最容易出現地址混乱的阶段。常见的狀態是：新頁面上线了，内鏈已经指向新地址，但 Sitemap 還是舊的，或者舊的列表頁依然在頁脚被引用。蜘蛛顺着不同的入口進来，會看到两套並行的 URL 体系。

這时要做的不是急着提交，而是先把地址關系理清楚：哪些 URL 是一一對應的替換關系，哪些是被合並的，哪些是彻底废弃的。這三類的處理方式並不相同，混在一起處理，後面就會出現一批蜘蛛反复訪問却拿不到有效内容的地址。

重定向鏈能一步到位就別分三步

301 是迁移中最常用的手段，但它的成本常被低估。每一次跳轉，蜘蛛都要多發起一次請求、多等一轮响應。如果改版過程中出現 A 跳 B、B 跳 C 的情况，蜘蛛拿到的最终頁面虽然正确，但消耗的抓取资源已经翻了几倍。

比較稳妥的做法是让所有舊地址直接指向最终的規范地址，跳轉层級控制在一跳以内。舊地址如果已经確認無人引用，直接用 404 或 410 收场，比让它繼續 301 更干净。長期挂着一堆重定向，等于给蜘蛛留了一條永遠走不完的舊路径。

内鏈、Sitemap 與重定向要保持一致

三者不一致时，蜘蛛收到的信号是矛盾的。内鏈指向新地址，Sitemap 却仍然是舊地址，蜘蛛就會怀疑自己之前抓到的内容是不是還有效，從而增加重复訪問。

• 内鏈：站内所有可点击的連結應统一指向新 URL，避免舊地址繼續出現在導航和列表頁中。
• Sitemap：改版後尽快替換為新的地址集合，不要新舊混放；舊地址列表可以直接刪除，让重定向去承接残留流量。
• canonical：如果新舊頁面必须短期共存，用 canonical 明确指向新地址，帮助蜘蛛確認哪個是要保留的版本。

這几項同步完成後，蜘蛛的抓取路径會迅速收敛到新地址上，URL 發現的效率也會回到正常水平。

舊地址的几種收场方式

1. 内容平移：頁面内容原封不動搬到新地址，舊地址 301 到新地址，這是最干净的一種。
2. 内容合並：多個舊頁面合並成一個新頁面，舊地址全部 301 到同一個目标，注意目标頁要能覆盖原来的主题。
3. 彻底下线：内容不再维護，舊地址返回 404 或 410，同时在 Sitemap 和内鏈中移除引用。

需要留意的是，選擇 301 之後不要過几個月又改回 404，反复切換會让蜘蛛难以判断舊地址的最终狀態，抓取行為也會變得不稳定。

迁移期的服務器稳定性同样關键

改版往往伴随着服務器調整、規則重寫、缓存策略變更，這段時間恰好是蜘蛛訪問最频繁的时候。如果响應時間忽長忽短，或者出現大量 5xx，蜘蛛會主動放慢抓取速度，新地址的收錄节奏就會被拉長。

建议把改版上线安排在流量低谷期，上线後先观察一段時間的服務器日誌，確認狀態碼分布正常、响應時間稳定，再去做提交和推送。抓取队列一旦因為错誤率過高而收缩，恢复起来需要的時間比想象中長。

舊地址的清理不是一次性的動作，而是一段持續几周到几個月的收敛過程。判断标准很简單：日誌里舊地址的訪問量持續下降，新地址的抓取频次稳步上升。

最後提醒一句，迁移過程中不要為了追求速度而堆砌提交入口。内鏈结构清晰、Sitemap 准确、重定向干净、服務器稳定，這四点做到位，蜘蛛自己就會顺着新路径走完，剩下的只是時間問题。