蜘蛛訪問一個入口頁，第一步不是發 HTTP 請求，而是做 DNS 解析。解析這一步出問题，後面所有優化都無從谈起。很多“蜘蛛不来”“抓取量突然掉”的情况，最後追到 DNS 上，只是平时不容易注意到。
解析失敗时，蜘蛛看到的是什么
当 DNS 解析失敗，蜘蛛得到的是無法解析域名，通常不會像浏览器那样彈提示，而是直接记錄一次失敗。失敗次數多了，抓取频次會下降，甚至暫停對该域名的訪問。和 404、500 不同，這類失敗不會出現在頁面狀態碼統計里，需要從抓取日誌的失敗原因或 DNS 监控里看。
常见的失敗形態有几種：
- 解析超时：DNS 服務器响應慢，蜘蛛在超时時間内拿不到结果。
- NXDOMAIN：域名或子域名不存在，通常是拼寫错誤、记錄被删或解析商侧未生效。
- SERVFAIL：解析商故障、DNSSEC 配置错誤等。
- 多地解析不一致：部分地区能解析，部分地区不能，蜘蛛来自不同节点时表現不同。
TTL 不是越短越好，也不是越長越好
TTL 决定解析记錄在递归 DNS 里的缓存時間。蜘蛛背後的递归解析节点也會遵守這個缓存。
TTL 设得很短，比如 60 秒，好處是切換 IP 或換服務器时生效快，坏處是解析請求量變大，解析商如果限速或抖動，反而更容易出現間歇性失敗。TTL 设得很長，比如 24 小时，解析压力小，但一旦要換 IP、下线入口域名，舊记錄會在缓存里留很久，蜘蛛可能繼續訪問已经不可用的地址。
比較稳妥的做法是按用途区分：
- 長期稳定的入口域名，TTL 可以设 600 到 3600 秒，减少解析波動。
- 正在切換或准备退役的域名，提前把 TTL 調低，比如 300 秒，等切換完成、观察几天後再調回。
多 IP 與 CNAME 鏈路的注意点
有些蜘蛛池會给一個入口域名配多個 A 记錄，做简單的轮询或容灾。這本身没問题，但要注意几点：
- 多個 IP 最好都能正常响應，不要有“挂着的舊 IP”。蜘蛛解析到不可用 IP 後，會记為一次失敗。
- 不同 IP 返回的内容如果有明顯差异，可能造成蜘蛛對同一 URL 看到不同版本，增加判断成本。
- CNAME 鏈路不要太長，层层跳轉會增加解析時間和失敗概率。能用 A 记錄直接指向的地方，不必绕 CNAME。
如果入口域名數量多，建议把“解析是否正常”纳入日常巡检，而不是等抓取量掉了才回头查。
怎么排查 DNS 层面的抓取問题
可以從三個方向入手：
- 用 dig 或在线 DNS 查询工具，分別查 A、AAAA、CNAME 记錄，確認返回是否符合预期。
- 用多個地区的解析节点查询，看是否存在地域差异。蜘蛛来自不同網絡，單点查询正常不代表全局正常。
- 對照抓取日誌中的失敗记錄。如果失敗集中在某些時間段或某些入口域名，且頁面本身可用，就要怀疑解析。
另外，IPv6 记錄如果配置了但實际不可用，也可能让支持 IPv6 的蜘蛛優先尝试 AAAA 记錄然後失敗。要么把 AAAA 配好，要么干脆不配。
和蜘蛛池运营有關的几個小建议
- 入口域名尽量使用同一家稳定的解析商，批量管理时改记錄更快，也便于统一监控。
- 解析商的控制台告警、到期提醒要打開，域名過期或解析被暫停往往没有任何頁面层信号。
- 換 IP、換服務器前，先降 TTL，再切換，再观察抓取日誌，最後恢复 TTL。
- 不要把 DNS 解析和 HTTP 狀態混在一起判断。解析失敗的日誌里通常没有狀態碼，看到大量“無狀態”失敗时，先查解析。
DNS 属于基础设施层，平时不出問题就没人注意，一出問题往往影响所有入口頁。把它纳入巡检和切換流程，比出了事再临时救火省力得多。