蜘蛛来抓一个入口页之前，第一步不是发 HTTP 请求，而是把域名解析成 IP。这一步通常只花几十毫秒，却决定了后面所有事情的前提：解析对了，蜘蛛才可能看到你要它看的那一版；解析缓存没更新，蜘蛛访问到的可能是你早就下线的旧机器。
DNS 在抓取链路里的位置
一次抓取大致经过：解析域名、建立连接、发请求、拿响应。DNS 是第一跳，也是最容易被忽略的一跳，因为它在平时不出问题。
- 解析结果会被缓存：递归解析器、公共 DNS、蜘蛛自己的解析节点都可能缓存一段时间。
- TTL 决定缓存多久：设得越长，改动生效越慢；设得越短，解析请求越频繁。
- 多 A 记录会轮询：同一域名挂多个 IP 时，蜘蛛可能这次落到 A 机器，下次落到 B 机器。
TTL 设多少比较合适
没有统一标准，取决于你多久会动一次解析。比较稳妥的做法是分阶段处理：
- 稳定期：几百秒到一小时都可以。入口页数量多的时候，设长一点能减少解析压力。
- 变动期：准备换 IP 或迁移机房之前，提前把 TTL 调到一个较短的值，让旧缓存先过期。
- 迁移完成后：观察一两天确认没有异常，再逐步把 TTL 调回原来的水平。
需要留意的是，TTL 只是「最长缓存时间」的参考值。个别递归解析器并不严格遵守，所以不要指望改完解析就立刻全网生效。
换 IP 时的操作顺序
- 先在新机器上把站点跑起来，用 hosts 或指定 IP 的方式自测，确认页面能正常返回。
- 提前把 TTL 调短，并等待至少一个旧 TTL 周期过去。
- 再修改解析记录，把新 IP 加上或者替换掉旧 IP。
- 旧机器先别立刻关，保留一段时间，避免还有解析缓存指向它。
- 观察访问日志，确认抓取请求已经落到新 IP 上，再考虑下线旧机器。
常见误区
- 把多 A 记录当负载均衡用：轮询并不判断机器是否健康，一台挂了照样会被分到流量。
- CNAME 套太多层：解析链路变长，出问题时排查成本也跟着变高。
- 只改主域名，不管 www 和其他子域：入口页往往分散在多个子域，漏改一个就有一批页面打不开。
- 迁移当天才降 TTL：缓存还没过期就开始切换，等于把变更窗口人为拉长。
- 忽略解析服务商自身的下发延迟：记录生效慢有时候跟 TTL 无关。
平时可以盯的几个点
- 用多个公共 DNS 分别查询同一域名，看返回的 IP 是否一致、有没有残留旧地址。
- 记录每次解析变更的时间点，方便和日志里的抓取异常做对照。
- 给入口页域名维护一份清单：域名、解析商、当前 IP、TTL、最近一次变更时间。
- 关注连接超时和 5xx 的比例，解析异常经常先表现为连不上，而不是返回一个错误页。
DNS 本身不产生内容，但它决定蜘蛛能不能到达内容。把 TTL 和变更流程管好，比事后反复排查「为什么蜘蛛不来了」要省事得多。