服务器迁移、换机房、接入 CDN，都会改变蜘蛛请求最终落到哪台机器上。页面内容、内链、Sitemap 一个字都没改，抓取数据却可能出现波动，原因往往就在这一层。
蜘蛛看到的其实是解析结果
蜘蛛并不关心你的机器放在哪，它关心的是：域名解析到哪个 IP、连接是否顺畅、响应是否稳定、拿到的内容和以前是否一致。迁移过程中常见的问题有三个：解析还没全量生效就急着切换源站；新旧服务器返回的 HTML 有细微差异；回源链路多了一跳，首字节时间变长。
迁移或接入 CDN 后容易出现的现象
- 整体抓取量短期下滑，之后慢慢回升；
- 部分 URL 的失败率上升，且集中在回源超时的路径上；
- 同一页面出现两次抓取，一次命中缓存，一次回源；
- 日志里蜘蛛 IP 段没变，但落地机器换了。
这些大多是过渡期的正常表现，重点是别把过渡期的波动当成惩罚来处理，那样容易做出多余的改动。
动手前后的检查顺序
- 先把新环境跑通，用真实 UA 走一遍首页、栏目页、详情页，确认状态码与内容一致；
- 确认新旧 IP 都能正常响应，再动解析，并提前调短 TTL；
- 检查 robots.txt、Sitemap 在新环境可访问，内容与旧站相同；
- 确认 HTTPS 证书链完整，避免握手阶段就失败；
- 看日志里的状态码分布，而不只是看总请求量。
回源与缓存的取舍
缓存命中时，蜘蛛拿到的是副本，速度更快；未命中或过期才会回源。如果回源慢且频繁超时，抓取频率就可能被压低。比较稳妥的做法是静态资源长缓存，HTML 保持较短缓存或不缓存，保证蜘蛛拿到的是较新的版本，同时又不至于每次都压到源站。
抓取下降不一定是站点质量出了问题，先排除基础设施层面的原因，再谈内容与链接结构。
和抓取频控怎么配合
有些团队会在迁移期主动降低抓取速度，或者在 CDN 层面对已知爬虫做限速。要注意限速是节流，不是断路。持续返回 429 或 503 可能触发退避，回访间隔会被拉长。如果确实需要限速，尽量让响应仍然是 200，并保留完整的页面内容。
观察窗口与判断依据
迁移后建议观察 2 到 4 周，重点看三件事：各类页面的抓取量是否回到原有比例；失败响应的占比是否回落；新抓取的页面内容是否与旧版一致。如果只有某一类页面异常，问题通常不在服务器整体，而在那一类页面的模板或路径。
把迁移当成一次抓取路径的重新验证，而不是单纯搬机器。服务器稳定、返回一致、路径不断，是蜘蛛继续按原有节奏走的前提。