站点改版、目錄調整、換域名之後，常會遇到一段尴尬期：舊連結還时不时有蜘蛛来訪，新連結却迟迟没有動静。這不完全是提交一下就能解决的事，本质上是让蜘蛛重新走一遍發現路径，完成一次 URL 的交接。
改版改變的是抓取路径，不只是頁面样式
蜘蛛對站点的認识来自两條线：一條是站内可点击的連結路径，另一條是它已经抓過、记在队列里的舊 URL。改版往往同时動了這两條线——導航结构變了，原有内鏈指向的位置變了，舊 URL 還有一批残留在外鏈、收藏和搜尋结果里。新人不断出現，舊帳還没结清，抓取资源就被摊薄了。
所以改版後的第一件事不是急着提交新頁面，而是先把舊 URL 的去向定下来。
舊 URL 的三種退场方式
- 301 永久跳轉：内容換到了新地址，舊地址不再有獨立價值时使用，适合成批、規則清晰的迁移。
- 410 或 404：頁面确實下线、也没有替代内容时使用。410 表達得更明确，但對抓取节奏的影响和 404 相近。
- 原样保留：只有当舊頁面仍有獨立内容、或仍有大量外部連結指向时才考虑。如果新舊頁面内容一致却同时返回 200，等于给蜘蛛两個几乎相同的入口。
需要注意的是，跳轉要一次到位：舊地址指向新地址，新地址直接返回 200，這是最省事的形態。
新 URL 要靠哪些入口被發現
Sitemap 是一份清單，本身不构成入口。它能帮助蜘蛛知道有哪些新地址，但决定蜘蛛是否愿意顺着走下去的，通常是頁面上的連結。
- 主導航和栏目頁：新结构里位置最顯眼的地方，尽量保證新 URL 在改版上线那天就能從首頁点两三次到達。
- 正文内鏈：老文章里指向舊 URL 的連結，改版时最好同步換成新 URL，別全留给 301 去兜底。
- Sitemap：更新為新 URL，舊的從清單里移除；如果保留跳轉，別让跳轉地址繼續出現在清單里。
- 站内搜尋與标簽聚合：能补充一部分發現路径，但別让這些動態结果頁成為主要入口。
交接期最容易踩的几個坑
- 鏈式跳轉：A 跳 B，B 再跳 C。每多一跳，蜘蛛就多花一次請求，批量出現时對抓取节奏的影响很明顯。
- 301 指向 404：跳轉目标本身不存在，蜘蛛跟過去只拿到一個空结果，两次請求都没产出。
- Sitemap 新老混存：清單里同时列出舊地址和新地址，會让蜘蛛反复在两邊来回。
- 新頁面只有 Sitemap 没有内鏈：發現得了，但缺少站内信号，後續抓取意愿往往偏弱。
- 改版顺手改了 URL 規則：大小寫、末尾斜杠、參數顺序一起變，跳轉規則就容易漏掉分支。
用日誌看交接進度
交接是否顺利，服務器日誌里能看出大概：舊 URL 的訪問量應该逐步下降，且以 301 為主；新 URL 的首次抓取時間大致集中在改版後的一段時間内。如果舊 URL 長期高频返回 301，可能是内鏈還没換干净，或者有外部連結一直在推。
同时留意新 URL 的狀態碼分布。如果新地址出現較多 5xx 或超时，蜘蛛的抓取节奏會明顯放慢，交接期自然被拉長。
节奏上留点余地
改版是给蜘蛛換一條路走，不是让它凭空记住一批新地址。舊路要收得干净，新路要铺得清楚，中間別留下太多岔口。
把跳轉規則、内鏈替換和 Sitemap 更新按同一份清單核對一遍，再观察日誌里的訪問结构變化，通常比反复提交更有效。