服務器迁移、換机房、接入 CDN，都會改變蜘蛛請求最终落到哪台机器上。頁面内容、内鏈、Sitemap 一個字都没改，抓取資料却可能出現波動，原因往往就在這一层。
蜘蛛看到的其實是解析结果
蜘蛛並不關心你的机器放在哪，它關心的是：域名解析到哪個 IP、连接是否顺畅、响應是否稳定、拿到的内容和以前是否一致。迁移過程中常见的問题有三個：解析還没全量生效就急着切換源站；新舊服務器返回的 HTML 有细微差异；回源鏈路多了一跳，首字节時間變長。
迁移或接入 CDN 後容易出現的現象
- 整体抓取量短期下滑，之後慢慢回升；
- 部分 URL 的失敗率上升，且集中在回源超时的路径上；
- 同一頁面出現两次抓取，一次命中缓存，一次回源；
- 日誌里蜘蛛 IP 段没變，但落地机器換了。
這些大多是過渡期的正常表現，重点是別把過渡期的波動当成惩罚来處理，那样容易做出多余的改動。
動手前後的检查顺序
- 先把新环境跑通，用真實 UA 走一遍首頁、栏目頁、詳情頁，確認狀態碼與内容一致；
- 確認新舊 IP 都能正常响應，再動解析，並提前調短 TTL；
- 检查 robots.txt、Sitemap 在新环境可訪問，内容與舊站相同；
- 確認 HTTPS 證书鏈完整，避免握手阶段就失敗；
- 看日誌里的狀態碼分布，而不只是看總請求量。
回源與缓存的取舍
缓存命中时，蜘蛛拿到的是副本，速度更快；未命中或過期才會回源。如果回源慢且频繁超时，抓取频率就可能被压低。比較稳妥的做法是静態资源長缓存，HTML 保持較短缓存或不缓存，保證蜘蛛拿到的是較新的版本，同时又不至于每次都压到源站。
抓取下降不一定是站点质量出了問题，先排除基础设施层面的原因，再谈内容與連結结构。
和抓取频控怎么配合
有些团队會在迁移期主動降低抓取速度，或者在 CDN 层面對已知爬虫做限速。要注意限速是节流，不是断路。持續返回 429 或 503 可能触發退避，回訪間隔會被拉長。如果确實需要限速，尽量让响應仍然是 200，並保留完整的頁面内容。
观察窗口與判断依據
迁移後建议观察 2 到 4 周，重点看三件事：各類頁面的抓取量是否回到原有比例；失敗响應的占比是否回落；新抓取的頁面内容是否與舊版一致。如果只有某一類頁面異常，問题通常不在服務器整体，而在那一類頁面的模板或路径。
把迁移当成一次抓取路径的重新驗證，而不是單纯搬机器。服務器稳定、返回一致、路径不断，是蜘蛛繼續按原有节奏走的前提。