搭建蜘蛛池时，很多人把精力放在入口頁的數量、模板和内容上，却忽略了最前面的一环：域名解析。蜘蛛要訪問一個入口頁，第一步不是發 HTTP 請求，而是把域名解析成 IP。這一步出問题，後面的配置做得再细也很难体現出来。
為什么 DNS 值得單獨拿出来说
解析失敗和頁面 404 不是一回事。頁面返回 404，蜘蛛至少完成了訪問，知道這個地址存在過；而解析失敗时，蜘蛛连服務器都没碰到。它通常不會像浏览器那样立刻重试，而是记錄一次失敗，可能降低该域名的抓取優先級，甚至在一段時間内不再回訪。
常见的几種情况包括：解析生效比预期慢，入口頁已经上线但蜘蛛拿到的還是舊 IP；解析结果不稳定，同一個域名在不同時間返回不同地址；解析指向了一台已经下线的机器。這些問题的共同点是，從頁面本身完全看不出来。
常见记錄類型與選擇
- A 记錄：指向 IPv4 地址，最直接，也是大多數入口頁會用到的類型。
- AAAA 记錄：指向 IPv6。如果服務器没有稳定的 IPv6 出口，不建议随手添加，蜘蛛走 IPv6 失敗會白白消耗一次抓取机會。
- CNAME：多個子域名指向同一個目标，适合批量管理，但要注意解析鏈路不要太長。
- 泛解析：批量生成子域名入口頁时很方便，但任何拼错的子域名都會解析到你的服務器，产生大量無效請求。
TTL 設定：太短和太長都有代價
TTL 决定解析结果在递归 DNS 里的缓存時間，設定时需要權衡两端。
- TTL 太短，比如 60 秒，解析請求會變得频繁，權威 DNS 压力上升，遇到服務商抖動时，蜘蛛拿到的结果反而更容易不稳定。
- TTL 太長，比如 24 小时，換服務器或換 IP 之後，舊地址還會被缓存很久，蜘蛛可能持續訪問已经下线的机器。
比較常见的做法是：日常使用 300 到 600 秒；計划迁移前提前一天降到 60 到 300 秒，切換完成並观察一段時間稳定後，再調回原值。
多條 A 记錄與负载分配
给同一個域名配多條 A 记錄，解析會轮流返回不同 IP。這本身没有問题，但前提是每台机器都能正常响應。如果其中一台宕机，蜘蛛有一定概率拿到那個坏地址，表現就是有时候能抓、有时候抓不到。
這種間歇性失敗在日誌里很难识別，排查成本很高。要么保證所有 IP 都處于可用狀態，要么干脆只保留一條记錄，把负载分配放到更靠後的环节處理。
解析變更时的几個细节
- 先確認新服務器已经能正常返回入口頁，再修改解析，不要反過来操作。
- 改完解析後，等過完整的 TTL 时長再開始統計蜘蛛日誌，否則新舊資料會混在一起。
- 如果入口頁用泛解析批量生成，注意排除不需要的子域名，或者用一條兜底規則返回 404。
- 不要在同一時間批量修改大量域名的解析，出問题时很难定位是哪一步造成的。
- 域名上原有用于信箱驗證、CDN 接入的 TXT 或 CNAME 记錄，迁移时別顺手删掉，可能影响其他正在使用的服務。
關于 DNS 服務商
免費與付費 DNS 的差別，主要体現在稳定性承诺、解析速度、抗攻击能力和 API 支持上。入口頁數量不多时，免費服務通常够用；域名規模上来以後，一次解析異常带来的损失可能超過服務成本。如果需要批量下發记錄，優先選支持 API 的服務商，方便把配置纳入自動化流程，也便于随时核對每條记錄的實际狀態。
一份简單的检查清單
- 域名解析是否正常，從不同地区查询的结果是否一致；
- 解析到的 IP 是否就是實际提供入口頁的那台机器；
- 是否存在指向目前並不支持的地址的 AAAA 记錄；
- 泛解析是否會产生大量無效子域名請求；
- DNS 服務商本身是否稳定，是否有可切換的备用 NS。
DNS 不是蜘蛛池里最顯眼的部分，但它是最靠前的一环。解析不稳，後面做得再好，蜘蛛也很难顺利進来。