做蜘蛛池时，注意力通常都放在頁面本身：入口頁寫什么内容、連結怎么放、robots 怎么寫。但蜘蛛必须先把域名解析成 IP，才有可能建立连接。這一步出問题，頁面做得再規整也没有机會被看到。這篇文章只谈入口頁的域名解析這一层，说说哪些設定會影响 URL 發現，以及出問题时怎么排查。
DNS 在抓取鏈路里的位置
一次抓取大致要经過：從 URL 中取出域名，查询本地或递归解析器缓存，拿到 A 或 AAAA 记錄，再建立 TCP 與 TLS 连接，最後才發送 HTTP 請求。DNS 排在最前面，一旦失敗，後面的环节全部不會發生。搜尋引擎的爬虫一般有自己的解析缓存，缓存时長受域名 TTL 影响；TTL 没到期之前，即便你已经改了记錄，蜘蛛可能仍在訪問舊 IP。
TTL 该设多長
- TTL 太短，例如几十秒：解析請求數量成倍增加，個別线路偶發超时，抓取成功率會明顯抖動。
- TTL 太長，例如一天以上：更換 IP 或切換线路後，蜘蛛會在很長時間里訪問舊地址，表現為“服務器都換了，抓取還是失敗”。
- 比較稳妥的做法是平时用几十分钟到几小时的 TTL，在計划迁移前一段時間先調短，迁移完成並观察正常後再調回去。
多线路、多 IP 與解析结果
不少蜘蛛池會给同一個入口域名配多條 A 记錄，或者按运营商做智能解析。這本身没有問题，但要注意两点：其一，多個 IP 上返回的頁面内容應当保持一致，否則同一個 URL 在不同抓取中拿到不同内容，容易被判為異常；其二，不要频繁增删解析记錄，解析结果變化太快，蜘蛛侧的缓存和你的预期會對不上。
解析延迟也是一項成本
DNS 查询通常只有几十毫秒，但如果递归层級多、權威服務器响應慢，累积起来會明顯推高首次连接耗时。抓取频率較高的入口頁對此尤其敏感：同样的抓取配額下，延迟越高，能覆盖到的 URL 就越少。選用响應稳定的權威 DNS 服務、减少不必要的 CNAME 层級，是成本最低的一步優化。
解析失敗在日誌里長什么样
如果某段時間訪問日誌里完全没有蜘蛛记錄，而其他来源的流量正常，先別急着怀疑頁面质量。可以按這個顺序查：同时段服務器是否收到大量陌生 IP 的连接、是否有 TLS 握手失敗记錄、CDN 或 WAF 是否拦截了蜘蛛 UA。如果服務器端什么請求都没收到，問题大概率在 DNS 或網絡鏈路，而不是頁面本身。
排查顺序建议：先確認解析是否正常，再看连接能否建立，最後才去检查响應狀態和頁面内容。
几個常见誤区
- 用泛解析把大量無關子域指向同一台机器。看似省事，但蜘蛛可能顺着解析结果發現一批本不该存在的入口，制造無效抓取。
- CNAME 鏈拉得過長，中間任意一环異常都會導致解析變慢甚至失敗。
- 只在自己所在的網絡环境里做測試，忽略了运营商之間的线路差异。
- 切換服務器时直接改掉记錄，没有過渡期，抓取失敗會集中出現。
實操建议
- 用多個地点的解析工具交叉驗證，不要只看本地返回结果。
- 入口頁域名尽量與业務主域名分開，避免一方出問题牵连另一方。
- 迁移或換 IP 时，让舊地址在一段時間内繼續正常响應，照顾仍在使用舊缓存的請求。
- 把解析異常记錄下来，與蜘蛛訪問日誌放在同一條時間线上對照，定位速度會快很多。
DNS 這一层平时不出問题就没人留意，一旦出問题又很容易被誤判成内容或模板問题。把解析稳定性纳入入口頁的日常运维，URL 被發現才有基本保障。