聊蜘蛛池时，大家盯的多是入口頁模板、IP 數量、連結结构，DNS 這一环经常被跳過。但蜘蛛每次訪問入口頁，第一步就是解析域名：解析慢、解析失敗、解析结果在几條记錄之間乱跳，後面模板做得再细也补不回来。這篇把 DNS 在蜘蛛池里的作用、常见坑和检查方法讲清楚。
一次入口頁訪問，DNS 上發生了什么
蜘蛛拿到 URL 後，先交给本地递归解析器。缓存里有记錄就直接返回；没有的话，递归器要去問根、問顶級域、再問到你的權威 NS，拿到 A 或 AAAA 记錄之後才開始握手和後續請求。也就是说，解析是整條鏈路的前置條件，它慢，後面的连接和响應都會顺延。
解析速度：什么范围算正常
命中缓存时，解析通常在個位數毫秒；未命中时几十到一两百毫秒都算常见。真正要警惕的是持續偏慢和偶發長尾，比如從多個地区抽样，長期超過 300 毫秒，或者时不时冒出 1 秒以上的解析耗时。
蜘蛛的超时预算一般比浏览器紧，解析阶段多花的几百毫秒，會直接挤压後面等待响應的余量。入口頁本身响應就偏慢的话，两者叠加很容易變成抓取失敗。
TTL 设長還是设短
TTL 决定递归解析器把记錄缓存多久，本质是解析請求量和切換灵活度之間的取舍。
- TTL 長：解析請求少，權威 NS 压力小，蜘蛛更容易拿到缓存；代價是換 IP 後舊记錄會在缓存里留很久。
- TTL 短：切換快，但解析請求明顯變多，入口域名多、被抓频繁时，權威 NS 可能扛不住。
比較稳妥的做法是：稳定期把 TTL 放在 600 到 3600 秒；計划換 IP 前 24 小时先降到 60 到 300 秒，切完確認稳定後再調回去。避免長期用极短 TTL，也避免換 IP 当天才临时改。
多线路與智能解析
只配一條 A 记錄，出問题就是全挂。常见的分散方式有三種：
- 多條 A 记錄：递归器随机選或轮询，能起到一定分散作用，但其中一條指向的机器挂掉时，仍會有蜘蛛被引過去。
- 按线路解析：按运营商或地域返回不同 IP，蜘蛛就近訪問、延迟更低；代價是配置复杂，改错一條线路，某個地区的抓取會長期失敗。
- AAAA 记錄：要谨慎。如果 IPv6 线路本身不稳，蜘蛛可能優先走 v6 然後超时，而你在 v4 上看一切正常。
解析失敗與解析異常
常见的異常有几類：權威 NS 本身不稳定，導致間歇性超时；NS 记錄變更後没等生效就開始大量抓取；解析结果被劫持或指向了错誤 IP；域名過期、欠費、未實名導致直接停止解析。這些情况在日誌里往往表現為某段 IP 同时失敗，或某個地区集中失敗，而不是單個入口頁的問题。
排查思路是先分层：用不同地区的公共解析器查同一域名，看结果是否一致；直接指定權威 NS 查询，看是否超时；再對比入口頁服務器的訪問日誌，確認請求到底有没有到達。
換 IP 时，DNS 和入口頁要一起動
換 IP 不是改一條记錄就完事。顺序上建议：先把新机器上的入口頁内容、證书、路由都跑通，再降 TTL，再切解析，观察一段時間確認新 IP 能被正常抓取，最後清理舊机器。切的過程中不要让两個环境的入口頁内容差异過大，否則同一入口頁在短時間内呈現两種版本，對抓取判断没有好處。
几個常见誤区
- 以為解析是一次性配置，配好就不再管，實际上线路、NS、證书到期都可能让它悄悄變化。
- 用极短 TTL 求灵活，结果解析請求量翻倍，權威 NS 成為新的瓶颈。
- 只看通不通，不看解析耗时和解析结果的一致性。
- 換 IP 只改 A 记錄，忘了同步調整 NS 服務商上的线路策略和反解。
可以落地的检查清單
- 從至少三個地区、两家以上公共解析器查询同一入口域名，记錄结果和耗时。
- 指定權威 NS 直接查询，確認不超时、结果與递归查询一致。
- 检查 TTL 是否與目前的換 IP 計划匹配。
- 核對多线路配置，逐條驗證线路返回的 IP 是否都在服役。
- 把解析耗时纳入日常监控，而不是只在出問题时才看。
DNS 不产生内容，也不提升權重，它只决定蜘蛛能不能顺利走到你的入口頁。這一环不需要做得多花哨，稳定、可预期、能解释，就已经比大多數情况好。