改版之后，蜘蛛看到的是两套路径
站点改版、换域名、调整目录结构时，最容易出现的状况不是新页面打不开，而是新旧 URL 同时存在：老链接还能访问，新链接也生成了，内链却一半指向老地址、一半指向新地址。对搜索引擎蜘蛛来说，这就是两条并行的路径，抓取和信号传递都会被分散。处理目标很明确：让新 URL 成为主路径，把老 URL 收敛过去。
先列清单，再动跳转
改版前应先整理三张表：
- 老 URL 清单：哪些还在被访问、还在被链接、还在搜索结果里出现；
- 新 URL 清单：结构、命名规则、与老地址是否一一对应；
- 无法对应的老 URL：合并到哪个页面，还是彻底下线并返回 410。
不做这一步，跳转规则就只能靠猜，最后往往出现大量 301 全部指向首页的情况，蜘蛛拿到的信号是“这个页面不重要”，后续重新抓取的意愿也会下降。
跳转尽量一步到位
老 URL 到新 URL 最好是单跳 301，不要 A→B→C 这样接力。跳转链越长，蜘蛛多花的时间越多，中途出错或超时的概率也越高。以下几类要特别检查：
- 老域名跳新域名，新域名内部又跳一次目录；
- http 跳 https、带 www 跳不带 www 同时存在，形成两段跳转；
- 老页面先跳到一个中间页，中间页再跳最终页。
把这些理顺成一步跳转，蜘蛛抓取时拿到的地址会更干净，抓取预算也不会浪费在中间环节。
内链结构要跟着换，不能只改跳转
蜘蛛发现新 URL 的主要途径仍然是站内链接。改版后如果导航、面包屑、列表页、相关推荐依旧指向老地址，蜘蛛每次爬行都要先吃一次 301 才能到新页面，长期下来效率会被拖低。建议按这个顺序更新：
- 全站导航与页脚；
- 栏目列表页与分页链接；
- 正文内的相关推荐、上一篇 / 下一篇；
- 文章正文里的站内引用链接。
站内链接直接写新地址，比让蜘蛛靠跳转绕过去要稳妥得多。
Sitemap 与提交：帮助发现，不等于收录
新 URL 上线后，Sitemap 应尽快换成新版，去掉已下线的老地址，避免两套清单同时提交。Sitemap 的作用是让蜘蛛知道有哪些 URL 值得来看，但能否被收录、什么时候收录，还取决于页面质量、重复程度和服务器表现。不要因为提交了 Sitemap 就期待立刻有变化。
改版期间，Sitemap 是“告知”，301 是“指向”，内链是“路标”，三者要一致，否则蜘蛛收到的是互相矛盾的信号。
服务器要顶得住改版后的抓取波动
改版后蜘蛛往往会提高回访频率，尤其是新目录、新栏目刚上线时。如果此时服务器响应变慢、频繁返回 5xx 或超时，抓取节奏会被打乱，恢复起来需要时间。上线尽量避开流量高峰，并提前确认：
- 跳转规则在服务器层生效，而不是依赖前端脚本；
- 错误日志里 404、500 是否集中在某一类 URL；
- 带宽与并发是否能承受短时间内的抓取量上升。
上线之后怎么观察
改版不是发布完就结束。接下来几周可以关注：服务器日志里蜘蛛访问老 URL 的比例是否下降、新 URL 的比例是否上升；抓取统计里新目录是否开始出现；搜索结果中老 URL 是否逐步被新 URL 替换。如果老 URL 长期仍被大量抓取，说明内链或跳转还有遗漏，需要回头补。
如果问题集中爆发，例如新 URL 大量返回错误、跳转规则配置有误，先修服务器与跳转，再谈重新提交，不要在错误状态下反复推送新地址。