站点改版、栏目調整、域名迁移，最容易出問题的地方往往不是新頁面本身，而是蜘蛛手里那批舊地址。它记着舊 URL，也记着舊内鏈，如果新舊之間没有一條清楚的路，抓取量會在几周内慢慢掉下来，而且不容易第一時間發現。
重定向不是“能跳就行”
很多人把 301 当成一個開關：舊地址跳到新地址就算完事。對用戶来说确實如此，對蜘蛛来说，跳轉本身就是一次抓取，它需要從响應里確認這是一次永久迁移，然後把原有的信任慢慢轉到新地址上。如果跳轉方式前後不一，比如一會儿 301 一會儿 302，一會儿又跳回舊地址，蜘蛛很难判断哪個才是最终版本。
- 301：永久迁移，适合改版、換域名、目錄结构調整。
- 302 / 307：临时跳轉，蜘蛛通常不會把舊地址的信任轉移過去，長期使用等于让舊地址一直占着位置。
- 跳轉鏈：A 到 B 再到 C，每多一跳就多一次抓取消耗，超過两三跳就值得整理成直跳。
几個常见的断点
跳轉鏈太長
舊地址跳中間頁，中間頁再跳新地址，這類情况在多次改版的站点里很常见。鏈越長，蜘蛛走完的概率越低，也越难判断终点在哪。把鏈压成一跳，是性價比最高的整理動作。
跳到 404 或软 404
跳轉目标寫错、新頁面被删、大小寫不一致，都會让蜘蛛落在 404 上。更隐蔽的是软 404：狀態碼是 200，頁面却只有一句“内容已迁移”。蜘蛛走到這里既拿不到内容，也拿不到下一步入口。
循环跳轉
A 跳 B、B 跳 A，浏览器會直接报错，蜘蛛也會把它记為抓取失敗。這類問题通常来自規則配置互相覆盖，检查一下服務器和 CDN 上的跳轉規則有没有重复命中。
舊地址到底该保留還是放掉
不是所有舊 URL 都值得留跳轉。已经彻底没有對應内容、也没有外部連結指向的頁面，用 410 明确告知比让它一直跳轉更干净。判断标准可以简單些：有外鏈、有流量、有歷史收錄的，保留 301；只是站内试驗产生、没有任何引用的，直接下线。
内鏈和 Sitemap 要跟着一起搬
重定向只能解决“蜘蛛拿着舊地址找過来”的情况，真正决定長期抓取路径的，還是站内連結。改版後如果導航、面包屑、正文里的連結還指向舊地址，蜘蛛每次都要多走一次跳轉，抓取效率自然下降。
- 全站内鏈替換成新地址，不要依赖跳轉兜底。
- Sitemap 只放新地址，別把重定向 URL 繼續寫在里面。
- 内鏈锚文本尽量保持和原来一致，让蜘蛛更容易把新舊頁面關联起来。
- 检查一遍 XML Sitemap 和頁面内鏈是否一致，避免出現只有 Sitemap 里有、站内没人指的地址。
观察改版後的抓取變化
改版之後可以用抓取日誌和站点地图的抓取情况做交叉观察：舊地址的抓取是否在减少、新地址是否在增加、有没有大量落在 404 或跳轉鏈上的請求。如果两三周後新地址的抓取量没有抬升迹象，通常說明路径上還有断点，或者内鏈没跟上。
改版真正要解决的問题，是让蜘蛛用最少的步數走到新内容。跳轉是兜底，不是主路。
最後补一点：改版期間服務器压力往往比平时大，如果同时叠加了慢响應和跳轉鏈，蜘蛛的抓取节奏會更容易變保守。把跳轉規則整理干净、内鏈一次性替換到位，往往比事後反复提交地址更有用。