搜尋引擎蜘蛛抓取一個 URL 之前，第一步是向 DNS 查询域名對應的 IP。這一步發生在你的服務器之外，既不會出現在訪問日誌里，也不受 robots.txt 控制。很多蜘蛛池入口頁的「抓取異常」，追到最後其實是解析层的問题。
為什么解析問题最难被發現
服務器日誌只记錄已经到達的請求。如果蜘蛛在解析阶段就失敗了，它根本连不上你的机器，日誌里自然一片空白。典型表現是：前几天還稳定的抓取量突然归零，而服務器负载、頁面狀態看起来一切正常。
常见的几類原因包括：
- 域名到期、欠費或實名信息失效導致解析被暫停；
- NS 服務器不可達，或解析服務商侧出現故障；
- 多台權威 DNS 记錄不一致，不同地区查询结果不同；
- 云防火墙或安全组把 DNS 相關端口拦掉。
還有一種情况更隐蔽：解析本身正常，但返回的 IP 指向了一台已经停服的机器，或者指向了預設站点、错誤頁。蜘蛛能连上，拿到的却不是你想要的内容。
TTL 设多少，取决于你改不改
TTL 决定各地递归 DNS 缓存這條记錄多久。设得長，解析稳定、查询压力小，但你要換 IP 时，全網生效要等很久；设得短，切換快，但查询次數變多，极端情况下反而更容易受解析波動影响。
另一個容易踩的细节是單位。多數解析商控制台用秒，也有用分钟甚至小时的，改之前看清單位，避免本想设 10 分钟结果设成了 10 小时。
一個比較稳妥的做法：日常把 TTL 控制在 300～600 秒，需要迁移前 24～48 小时先降到你能接受的最短值，切換完成並观察稳定後再調回去。
多 A 记錄與线路解析
给同一個域名配多條 A 记錄，本意是做冗余，但如果其中一台机器已经下线或端口不通，蜘蛛有概率被分到坏的那台。普通轮询解析不會自動跳過故障节点，除非你用的是带健康检查的解析服務。
线路解析在國内站点很常见，按运营商或地域返回不同 IP。需要注意的是，爬虫的出口 IP 段未必和你预期的用戶分布一致，如果你只優化了某几條线路，抓取节点拿到的可能是最差的那台机器。
AAAA 记錄容易被忽略
如果域名配了 IPv6 的 AAAA 记錄，而服務器或 CDN 並没有正确监听 IPv6，蜘蛛尝试走 IPv6 时會连接超时，再决定是否回退到 IPv4。回退策略各家爬虫並不一致，有的會直接放弃這次抓取。没有 IPv6 服務能力，就別留 AAAA 记錄。
接入前的解析检查清單
- 用 dig 或 nslookup 從多個公共 DNS 分別查询，確認返回结果一致；
- 確認域名有效期、實名狀態與解析套餐都正常，没有临近到期；
- 逐台驗證每條 A 记錄對應的 IP 都能返回正确内容，而不是預設站点或错誤頁；
- 留意解析服務商的免費版限速或查询配額，入口頁多、請求量大的站点尤其要確認；
- 迁移或調整後至少观察 48 小时，把搜尋後台的抓取資料和訪問日誌對照看。
小结
DNS 是蜘蛛池入口頁最底层的一环，平时安静，出問题时往往也最彻底。把解析稳定性纳入日常巡检——域名到期時間、TTL 設定、多 A 记錄的健康状况、AAAA 记錄是否必要——比事後翻日誌找原因省事得多。