做蜘蛛池时，很多人把注意力放在頁面模板、連結结构和服務器带宽上，DNS 解析却常被当成一次性配置。實际上，蜘蛛来抓取之前要先做域名解析，解析失敗、响應慢或解析结果不稳定，都會让抓取在第一步就中断。本篇只讨论 DNS 层的問题：TTL 怎么设、多個 IP 怎么轮询、解析失敗怎么排查，以及轮換节奏怎么安排。
DNS 在蜘蛛池里的位置
蜘蛛訪問一個入口頁的流程大致是：解析域名、建立连接、請求頁面、返回内容。DNS 是第一步，通常只占几十毫秒，但一旦異常，後面的優化都没有意义。入口頁數量多、域名分散时，DNS 配置的差异會被放大：有的域名解析到可用节点，有的解析到已经下线的机器，表現就是部分入口頁長期没有抓取记錄。
抓取日誌里出現连接超时、無法解析主机名时，先看 DNS，而不是先改頁面。
TTL 設定：短有短的好處，也有代價
TTL 决定解析结果在递归 DNS 里的缓存時間。設定思路可以分两種：
- 稳定期用較長 TTL：比如 600 到 3600 秒。解析结果不常變，减少解析压力，也避免缓存频繁失效带来的抖動。
- 切換期用較短 TTL：計划更換 IP 或迁移节点前，提前把 TTL 調低，比如 60 到 300 秒，等舊缓存過期後再切，切換會更平滑。
不建议長期把 TTL 设成极短。递归解析器會频繁回源，遇到解析服務商本身不稳定时，反而增加失敗概率。
多 IP 轮询：不是越多越好
一個域名配多個 A 记錄，可以让不同蜘蛛請求落到不同 IP 上，起到分散作用。但要注意几点：
- 所有 IP 都必须能正常响應。只要有一個 IP 不可用，蜘蛛就可能随机撞上它，表現為間歇性超时。
- 轮询策略由解析器决定，不是你能完全控制的，不要假设流量會平均分配。
- IP 之間尽量同质。如果几個 IP 的线路质量、响應速度差很多，入口頁的抓取表現會不一致。
如果只是想分散承载压力，可以用少量稳定 IP 加轮询；如果是為了規避單点故障，更要重视健康检查，而不是堆數量。
解析失敗的常见原因
- 域名過期或未續費，解析被暫停。
- NS 记錄指向的解析服務商出現故障，或 NS 配置错誤。
- A 记錄指向的服務器已经下线，但解析没有同步更新。
- 部分地域的递归解析器缓存了舊结果，出現“有的地方能訪問，有的地方不能”。
- 域名被某些安全设备或解析策略拦截，返回错誤结果。
排查时可以用多個公共 DNS 工具對比解析结果，再结合抓取日誌里失敗請求的時間点，看是否集中在某個 IP 或某個時間段。
轮換节奏與监控
IP 轮換不要過于频繁。每次更換都會经歷一段缓存更新期，這段時間解析结果不统一，抓取容易波動。比較稳妥的做法是：
- 更換前先降低 TTL，观察一两天再切。
- 切換後保留舊 IP 一段時間，確認新 IP 稳定再下线。
- 對入口頁做抽样检查，记錄解析時間、连接時間和响應狀態，發現異常先定位是解析层還是服務层。
DNS 监控不需要很复杂，定期检查解析结果是否與预期一致，就能避免很多“莫名其妙”的抓取缺失。
小结
DNS 不负责内容质量，但它决定了蜘蛛能不能顺利走到你的入口頁。TTL 按稳定期和切換期分開設定，多 IP 保證每個都可用，解析失敗按域名、NS、IP、缓存几個方向排查，轮換时留出缓存過渡期，基本就能把這一层的問题控制住。