為什么值得在上线前過一遍清單

蜘蛛池上线之後，第一波抓取通常只来自少量蜘蛛。如果此时解析、狀態碼或跳轉鏈路存在問题，损失的不只是一次抓取机會，入口頁還可能在之後一段時間里被降频訪問。上线前花半小时逐項確認，比起上线後從日誌里倒推原因要省事得多。

一、域名與解析

• 解析是否生效：用本地網絡、服務器和公共 DNS 分別查询，確認返回的是预期 IP。
• TTL 設定：刚上线或刚更換 IP 时，TTL 不宜過長，方便出問题时快速調整。
• 是否绑定正确：同一 IP 上如果有多個站点，確認 Host 头與證书匹配，避免預設站点把請求接走。
• HTTPS 證书：證书過期、證书鏈不完整，都可能让蜘蛛在握手阶段就放弃。

二、入口頁本身能不能正常打開

• 用 curl 或無痕浏览器直接訪問，確認返回的不是 WAF 拦截頁、驗證碼頁或空白頁。
• 检查是否被 CDN、防火墙的預設規則誤伤，尤其是来自海外节点和非常用 UA 的請求。
• 頁面首屏内容是否寫在 HTML 里，而不是完全依赖 JS 渲染後再呈現。

三、狀態碼與 robots 規則

狀態碼决定了蜘蛛對頁面的基本判断。上线前至少要確認：正常入口頁返回 200；临时维護用 503 而不是 404；确定要迁移时才用 301，並且注意不要形成跳轉鏈。robots.txt 與頁面 meta robots 也要核對一遍，入口頁被自己的規則挡住是最常见、也最容易忽略的低級問题。

四、連結與跳轉路径

• 入口頁到目标 URL 的連結是否真實存在于 HTML 中，能否被直接解析。
• 跳轉层數是否過多，中間任何一层出問题，整條鏈路就断了。
• 目标 URL 是否可訪問、是否返回 200、是否被 robots 拦截。
• 锚文本與 URL 參數是否會造成同一條鏈路产生大量重复地址。

五、日誌與监控是否就位

上线前就應该能拿到服務器訪問日誌，並且能按狀態碼、UA 和路径進行篩選。建议至少记錄：蜘蛛 UA、来訪時間、請求路径、响應碼、响應時間、来源 IP。没有日誌的蜘蛛池，等于閉着眼睛調參數，改了什么、有没有效果都说不清。

六、分批上线，先小范围观察

不要一次性把所有入口頁全部挂上去。先放一小批，观察一到两周内的抓取情况：有没有蜘蛛来訪、抓的是哪些路径、是否出現異常高频或大量 4xx、5xx。確認鏈路通畅之後再逐步增加，比一次性铺開更容易定位問题所在。

容易被漏掉的几件事

• 測試环境與正式环境混用同一批域名，日誌里真假难辨。
• 服務器時間不准，日誌時間與實际抓取時間對不上。
• 只测了首頁，没有抽查由同一模板生成的其他入口頁。
• DNS 配了多條 A 记錄，其中一條 IP 其實已经不可用。

自查清單的作用不是保證被抓取，而是排除那些明顯的人為故障。抓取量多少、抓取频率如何，最终仍由搜尋引擎决定。