很多人看蜘蛛池入口頁的日誌时，习惯只看 200 那一部分——蜘蛛来過、頁面被讀了，就觉得没問题。但真正會让入口頁慢慢“掉线”的，往往是那些没被抓成功的记錄：连接超时、连接被重置、DNS 解析失敗、5xx 响應。這類失敗积累到一定比例，蜘蛛的訪問频率會自己降下来，而恢复的速度通常比下降慢得多。
先分清“没来”和“来了没抓成”
這两件事的排查方向完全不同。没来，說明蜘蛛根本不知道這個 URL，問题可能出在入口没有可爬通路、robots 拦截，或者上游外鏈還没被抓到。来了没抓成，說明蜘蛛已经找到入口，但網絡或服務端在某一层断了。本文只讨论後者，因為它通常和站点自身的运维狀態直接相關，也更容易驗證。
连接层的三類常见失敗
DNS 解析失敗或解析超时
日誌里表現為连接還没建立就結束了，抓取端报的是“無法解析主机”。常见原因包括：新增的解析记錄還没生效、NS 服務器不稳定、解析服務商限流，以及同时配了多條互相冲突的记錄。建议接入後至少確認一遍不同线路下的解析结果，TTL 不要设得過長，改完解析留出足够的生效观察窗口再判断。
连接超时與连接被拒
超时通常是服務器處理不過来，或者中間鏈路丢包；连接被拒則更干脆，端口没有监听、安全组没放行、防護策略直接拒绝，都會出現這個结果。入口頁如果做了限速或並發控制，需要確認限制作用在“同一時間放多少蜘蛛進来”，而不是把正常請求也一並拒掉。
连接被重置
請求發出後立刻中断，很多时候和防護层有關：WAF 規則過嚴、TLS 握手特征被判為異常、同一 IP 上並發過高。這類失敗最容易被忽视，因為服務端日誌里可能什么都没留下，只能從訪問日誌中“請求開始但没有响應”看出来。遇到這種情况，先临时放宽規則做對照測試，比反复猜测有效。
响應层的失敗同样要看
- 5xx：多為回源失敗、後端進程崩溃、CDN 回源超时。它是服務端問题，但會直接影响蜘蛛對入口頁的信任度。
- 403 / 429：前者多半是權限或防護規則，後者是频率限制。反复出現，等于在告诉蜘蛛“這里不欢迎你”。
- “假的 200”：错誤頁、空頁面、跳轉頁全部返回 200，日誌看着一片正常，實际抓到的内容没有意义。
抓取失敗率高的入口頁，蜘蛛不會立刻放弃，而是先降低频率试探。等你發現問题时，它往往已经很久没認真来過了。
复盘的基本做法
- 按小时聚合失敗记錄，看是全天均匀分布，還是集中在某個時間段。
- 把失敗记錄按入口域名、服務器 IP、线路分组，判断是個別节点還是整体問题。
- 對照最近的改動時間点：上 CDN、換證书、加防護規則、改 Nginx 配置，都是高發原因。
- 確認失敗的請求是不是真蜘蛛，伪蜘蛛造成的失敗不必纳入复盘范围。
- 問题修复後持續观察重訪频率，不要只看当天有没有恢复。
几個容易踩的坑
- 只統計成功請求，把失敗当成噪音直接過滤掉。
- 一發現失敗就急着換域名、換 IP，把真正的問题掩盖過去。
- 在蜘蛛訪問的高峰时段做大批量配置變更。
- 用 200 包装错誤頁面，短期日誌好看，長期抓取质量越来越差。
處理顺序建议
先保證解析和網絡鏈路稳定，再检查服務器资源與後端進程，然後才是防護規則的放行與白名單調整。域名替換應当是最後的手段，而不是第一反應。绝大多數抓取失敗都是工程問题，能從日誌里定位到具体环节，就不需要靠猜。