站点改版與 URL 迁移：蜘蛛的抓取路径怎么切過去

站点改版、栏目重组、域名更換，都會让一批 URL 發生變化。對搜尋引擎蜘蛛来说，舊地址不會因為你上线了新頁面就立刻被遗忘，它仍可能按原来的路径来抓。迁移做得顺不顺，關键看蜘蛛能不能從舊地址稳定地走到新地址，並把後續抓取重心切過去。

迁移时蜘蛛面對的三種情况

第一，舊 URL 還能訪問，但内容已经換了；第二，舊 URL 返回 301 到新 URL；第三，舊 URL 直接 404 或 410。三種情况對抓取路径的影响不一样。蜘蛛最怕的是鏈式跳轉和混乱狀態，因為每多一步都要消耗時間，而且容易在中途放弃。

如果确定要迁移，舊 URL 到新 URL 的 301 最好一步到位。避免 A 跳到 B，B 再跳到 C 這種鏈式结构。蜘蛛虽然能跟，但抓取效率會下降，尤其当舊 URL 數量多的时候。

另外，不要把 301 临时改成 302 或 307。短期跳轉给蜘蛛的信号是“临时的”，它可能繼續抓舊地址，延迟新地址的發現和稳定抓取。

很多站点迁移时會把 Sitemap 里的舊 URL 一次性删掉，只留新 URL。這样做不算错，但如果舊 URL 還有外部連結和流量，蜘蛛仍會從外鏈過来。更稳妥的做法是：迁移初期保留舊 URL 的 301 狀態，同时在新 Sitemap 中提交新地址；等日誌里舊地址的抓取明顯减少後，再逐步清理。

蜘蛛在站内走的主要還是連結。迁移後，如果導航、列表頁、正文推荐位仍指向舊 URL，蜘蛛就會不断碰到舊地址，然後通過 301 再跳一次。理想狀態是：站内能改的連結全部改到新 URL，舊 URL 只留给外部連結和已收錄頁面做跳轉。

同时检查 canonical。新頁面應该指向自己的新 URL，不要留着舊地址；如果 canonical 和 301 指向不一致，蜘蛛會收到两套互相矛盾的信号。

迁移期間服務器压力通常比平时大。如果新頁面频繁出現 5xx，蜘蛛可能降低抓取频率，迁移节奏會被拖慢。建议在流量低峰执行切換，並观察新 URL 的响應時間和错誤率。

迁移不是“上线即完成”，而是一段舊地址逐步淡出、新地址逐步接上的過程。

迁移後一两周，可以重点看：舊 URL 的抓取次數是否在下降、新 URL 是否開始出現稳定抓取、301 是否被大量重复請求、有没有 404 集中在某類 URL。如果舊 URL 長期保持高抓取量，通常說明内鏈或 Sitemap 還在把蜘蛛往舊地址引。

最後，不要用“提交了就一定收錄”来衡量迁移成功。更實际的指标是：蜘蛛能不能顺利到達新 URL，並且持續回来抓。