站点改版与 URL 迁移：蜘蛛的抓取路径怎么切过去

站点改版、栏目重组、域名更换，都会让一批 URL 发生变化。对搜索引擎蜘蛛来说，旧地址不会因为你上线了新页面就立刻被遗忘，它仍可能按原来的路径来抓。迁移做得顺不顺，关键看蜘蛛能不能从旧地址稳定地走到新地址，并把后续抓取重心切过去。

迁移时蜘蛛面对的三种情况

第一，旧 URL 还能访问，但内容已经换了；第二，旧 URL 返回 301 到新 URL；第三，旧 URL 直接 404 或 410。三种情况对抓取路径的影响不一样。蜘蛛最怕的是链式跳转和混乱状态，因为每多一步都要消耗时间，而且容易在中途放弃。

如果确定要迁移，旧 URL 到新 URL 的 301 最好一步到位。避免 A 跳到 B，B 再跳到 C 这种链式结构。蜘蛛虽然能跟，但抓取效率会下降，尤其当旧 URL 数量多的时候。

另外，不要把 301 临时改成 302 或 307。短期跳转给蜘蛛的信号是“临时的”，它可能继续抓旧地址，延迟新地址的发现和稳定抓取。

很多站点迁移时会把 Sitemap 里的旧 URL 一次性删掉，只留新 URL。这样做不算错，但如果旧 URL 还有外部链接和流量，蜘蛛仍会从外链过来。更稳妥的做法是：迁移初期保留旧 URL 的 301 状态，同时在新 Sitemap 中提交新地址；等日志里旧地址的抓取明显减少后，再逐步清理。

蜘蛛在站内走的主要还是链接。迁移后，如果导航、列表页、正文推荐位仍指向旧 URL，蜘蛛就会不断碰到旧地址，然后通过 301 再跳一次。理想状态是：站内能改的链接全部改到新 URL，旧 URL 只留给外部链接和已收录页面做跳转。

同时检查 canonical。新页面应该指向自己的新 URL，不要留着旧地址；如果 canonical 和 301 指向不一致，蜘蛛会收到两套互相矛盾的信号。

迁移期间服务器压力通常比平时大。如果新页面频繁出现 5xx，蜘蛛可能降低抓取频率，迁移节奏会被拖慢。建议在流量低峰执行切换，并观察新 URL 的响应时间和错误率。

迁移不是“上线即完成”，而是一段旧地址逐步淡出、新地址逐步接上的过程。

迁移后一两周，可以重点看：旧 URL 的抓取次数是否在下降、新 URL 是否开始出现稳定抓取、301 是否被大量重复请求、有没有 404 集中在某类 URL。如果旧 URL 长期保持高抓取量，通常说明内链或 Sitemap 还在把蜘蛛往旧地址引。

最后，不要用“提交了就一定收录”来衡量迁移成功。更实际的指标是：蜘蛛能不能顺利到达新 URL，并且持续回来抓。