站点改版、栏目调整、域名迁移，最容易出问题的地方往往不是新页面本身，而是蜘蛛手里那批旧地址。它记着旧 URL，也记着旧内链，如果新旧之间没有一条清楚的路，抓取量会在几周内慢慢掉下来，而且不容易第一时间发现。
重定向不是“能跳就行”
很多人把 301 当成一个开关：旧地址跳到新地址就算完事。对用户来说确实如此，对蜘蛛来说，跳转本身就是一次抓取，它需要从响应里确认这是一次永久迁移，然后把原有的信任慢慢转到新地址上。如果跳转方式前后不一，比如一会儿 301 一会儿 302，一会儿又跳回旧地址，蜘蛛很难判断哪个才是最终版本。
- 301：永久迁移，适合改版、换域名、目录结构调整。
- 302 / 307：临时跳转，蜘蛛通常不会把旧地址的信任转移过去，长期使用等于让旧地址一直占着位置。
- 跳转链：A 到 B 再到 C，每多一跳就多一次抓取消耗，超过两三跳就值得整理成直跳。
几个常见的断点
跳转链太长
旧地址跳中间页，中间页再跳新地址，这类情况在多次改版的站点里很常见。链越长，蜘蛛走完的概率越低，也越难判断终点在哪。把链压成一跳，是性价比最高的整理动作。
跳到 404 或软 404
跳转目标写错、新页面被删、大小写不一致，都会让蜘蛛落在 404 上。更隐蔽的是软 404：状态码是 200，页面却只有一句“内容已迁移”。蜘蛛走到这里既拿不到内容，也拿不到下一步入口。
循环跳转
A 跳 B、B 跳 A，浏览器会直接报错，蜘蛛也会把它记为抓取失败。这类问题通常来自规则配置互相覆盖，检查一下服务器和 CDN 上的跳转规则有没有重复命中。
旧地址到底该保留还是放掉
不是所有旧 URL 都值得留跳转。已经彻底没有对应内容、也没有外部链接指向的页面，用 410 明确告知比让它一直跳转更干净。判断标准可以简单些：有外链、有流量、有历史收录的，保留 301；只是站内试验产生、没有任何引用的，直接下线。
内链和 Sitemap 要跟着一起搬
重定向只能解决“蜘蛛拿着旧地址找过来”的情况，真正决定长期抓取路径的，还是站内链接。改版后如果导航、面包屑、正文里的链接还指向旧地址，蜘蛛每次都要多走一次跳转，抓取效率自然下降。
- 全站内链替换成新地址，不要依赖跳转兜底。
- Sitemap 只放新地址，别把重定向 URL 继续写在里面。
- 内链锚文本尽量保持和原来一致，让蜘蛛更容易把新旧页面关联起来。
- 检查一遍 XML Sitemap 和页面内链是否一致，避免出现只有 Sitemap 里有、站内没人指的地址。
观察改版后的抓取变化
改版之后可以用抓取日志和站点地图的抓取情况做交叉观察：旧地址的抓取是否在减少、新地址是否在增加、有没有大量落在 404 或跳转链上的请求。如果两三周后新地址的抓取量没有抬升迹象，通常说明路径上还有断点，或者内链没跟上。
改版真正要解决的问题，是让蜘蛛用最少的步数走到新内容。跳转是兜底，不是主路。
最后补一点：改版期间服务器压力往往比平时大，如果同时叠加了慢响应和跳转链，蜘蛛的抓取节奏会更容易变保守。把跳转规则整理干净、内链一次性替换到位，往往比事后反复提交地址更有用。