迁移掉抓取，往往不是切換那一秒的問题

蜘蛛對入口頁的信任，来自一段時間的重复抓取记錄：同一個 IP、相近的响應速度、稳定的狀態碼和内容结构。迁移會一次性改動其中好几個變量，蜘蛛的調度自然變得保守，抓取量短期下滑属于正常現象。真正要防的，是下滑之後長期回不来——那通常不是迁移本身，而是迁移過程中把別的東西也弄坏了。

先分清你属于哪種迁移

• 只換服務器，公網 IP 不變：影响最小，通常是同机房内換机。
• 換服務器也換 IP：最常见，需要走完整流程。
• 換 IP 且換机房或地区：影响最大，蜘蛛到新 IP 的網絡路径變了，延迟和稳定性都要重新驗證。
• 換域名或換二級域：這已经不是迁移，而是重建，入口頁积累的抓取记錄基本清零。

前三類可以按迁移来處理，第四類請按新站上线来規划预期。

迁移前：把清單和日誌先收好

迁移最怕的是事後對不上帳。切換之前，至少整理出四样東西：

• 入口頁清單：URL、所用模板、上次更新時間。
• 目标頁清單：每個入口頁分別指向哪些目标頁。
• 最近 7 到 14 天的訪問日誌：蜘蛛抓取總量、狀態碼分布、来訪最频繁的 IP 段。
• 目前 DNS 解析的 TTL 值。

建议提前 24 到 48 小时把 TTL 調低，比如降到 300 秒甚至更短。TTL 决定了舊解析還能存活多久，也决定了你的切換窗口有多宽。很多人忽略這一步，结果切完之後舊 IP 上的請求還會持續很久，日誌看起来像是"蜘蛛没跟着走"，其實只是缓存還没過期。

並行期：新环境先跑通，再動解析

在改 DNS 之前，让新服務器先能正常對外服務，用临时域名或本地 hosts 去訪問，逐項確認：

• 入口頁返回 200，不是重定向鏈條或软 404。
• HTTPS 證书鏈完整，没有中間證书缺失，不會在部分客戶端报错。
• 首字节時間與舊环境接近，没有明顯變慢。
• 頁面内容與舊站基本一致，入口頁到目标頁的連結仍然可点。
• 服務器没有對蜘蛛 UA 做額外拦截，也没有被安全策略挡住。

迁移期間最容易犯的错，是顺手把模板也改了。一次只動一個變量，出問题时才知道该回退哪一步。

切換：能分批就別一次切完

如果入口頁數量多，可以按模板或按目錄分批切換，先切一批观察一两天。這样做的好處是，一旦新环境有問题，受影响的只是部分入口頁，還能對照舊环境的日誌判断問题出在哪。切完之後，重点看舊 IP 上是否還有残留請求，以及新 IP 是否開始出現蜘蛛訪問。

換域名的情况要單獨看

301 能把一部分信号带到新域名，但入口頁本身的抓取节奏是從零開始的。舊域名如果還能保留，建议繼續在线一段時間並保持可訪問，而不是切完立刻關停。對新域名的抓取量，前期不要用舊站的資料去對标。

迁移後重点观察什么

• 蜘蛛抓取總量是否在合理時間内回到迁移前水平。
• 狀態碼里是否出現 403、404、5xx 增多的迹象。
• 来訪 IP 段是否與迁移前一致，有没有出現陌生来源。
• 目标頁是否還被持續訪問，還是只剩入口頁在被抓。
• 服務器负载與响應時間是否稳定，没有因為蜘蛛集中来訪而抖動。

留一條回滚的路

舊环境不要在新环境稳定之前就關掉或释放 IP，建议至少保留一到两周。DNS 回切本身很快，但如果舊服務器已经下线、證书已過期、入口頁文件已被覆盖，回滚就無從谈起。回滚预案里要寫清楚：什么指标触發回滚、由谁操作、回切後多久观察一次。

几個常见错誤

• TTL 没提前調低，切完發現舊 IP 還在持續接收請求。
• 迁移和改模板、改連結结构同时進行，出問题無法定位。
• 新环境上线後没有驗證證书和重定向，蜘蛛拿到的是異常頁面。
• 舊环境立即销毁，失去對照資料和回退余地。
• 迁移後只看抓取總量，不看狀態碼和响應時間。

小结

蜘蛛池迁移的核心不是"搬得快"，而是變量一次只改一個、每一步都有對照。把清單和日誌准备好、把 TTL 提前压低、让新环境先跑通再切解析、切完至少保留两周回滚窗口，抓取量的波動通常是可以接受的；反過来，图省事一次性全改，才是真正难收拾的局面。