站点改版是抓取路径最容易出问题的时候。页面结构一调整，原来蜘蛛走熟的那条路可能就断了：老 URL 变成 404，新 URL 还没被收录，内链指向的地方跟实际内容对不上。抓取中断往往不是一夜之间发生的，而是顺着这些断点一点点累积出来的。下面按改版前后要处理的事情梳理一遍。
先盘清楚哪些 URL 会变
改版之前，把受影响的 URL 列成清单，比改完之后再回头找要省力得多。重点看几类：
- 栏目页、列表页的路径层级是否调整；
- 详情页 URL 里的 slug、ID、日期等规则是否变化；
- 域名、协议、www 前缀是否同时改动；
- 大小写、结尾斜杠、参数格式是否统一。
同一批页面如果既换了路径又换了参数规则，处理难度会成倍上升。能分步就分步，先改结构，再调参数。
老链接别直接断掉
旧 URL 有外链和搜索入口的，尽量用 301 指向新地址，并且保证一跳到位。中间绕两三跳，蜘蛛虽然可能跟下去，但信号会被稀释，抓取效率也变低。确实没有对应页面的，让它返回 404 或 410，比统一跳回首页或做软性跳转要干净。
有一点容易忽略：改版后短时间内的跳转规则要尽量稳定。今天 A 跳到 B，明天 A 跳到 C，蜘蛛的抓取记录会变得很乱，重新判断新地址要花更长时间。
内链和导航要同步改
内链是蜘蛛发现新 URL 最日常的途径，改版时如果导航和正文内链还指着老地址，等于让蜘蛛沿着旧路一直撞到重定向。检查顺序可以这样：全局导航、面包屑、列表页链接、正文相关推荐、页脚。这些位置改完之后，新页面的可达性基本就有了保障。
深层页面尤其要注意。如果原来只有一条内链能走到某个页面，改版时这条链一断，页面就彻底孤立了。改版其实也是补几条备用路径的好时机。
Sitemap 与提交节奏
Sitemap 在改版中的角色，是把新地址明确说一遍。新的 XML 站点地图上线后，旧地址要从里面删掉，不要让新旧地址同时待在一份文件里。分片文件有变动的话，索引文件也要一起更新。
提交之后不用反复重发同一份。观察日志里新 URL 的抓取情况，如果几天内没有动静，再回头看内链和入口是否通了，比重复提交更有效。
服务器这段时间要稳
改版常伴随发版、缓存刷新、临时维护。蜘蛛刚好在这段时间来访，遇到 5xx 或长时间超时，抓取节奏会被打乱。发版安排在访问低谷、维护时给出明确的状态码、避免在改版期间做大幅限速，都是成本不高的措施。
上线后的自查顺序
- 挑几个新页面，从首页出发按内链走一遍，看能不能走通；
- 抽查老 URL 的跳转，确认是一跳并且目标正确；
- 看 Sitemap 里的地址与实际可访问地址是否一致；
- 翻服务器日志，观察蜘蛛对新路径的抓取是否在增加；
- 确认没有大批量 404 集中在改版前就存在的页面上。
改版本身不一定伤抓取，真正带来麻烦的往往是改完之后新旧两套路径长期并存，谁也不清楚蜘蛛最后认的是哪一套。
把路径收敛干净、内链指向明确、服务器保持可用，蜘蛛重新走顺这条路通常只是时间问题。改版越有计划地推进，抓取恢复得越平稳。