抓取是否顺畅，很多时候不取决于内容质量，而取决于服務器在蜘蛛来訪的那几百毫秒里有没有稳定给出响應。同一批 URL，在响應稳定的日子里被逐层展開，在超时和 5xx 集中的时段里則可能整段停顿，之後很長時間不再回訪。
一、抓取中断在日誌里通常長什么样
把日誌按响應狀態和時間戳排一遍，中断往往集中在几類记錄上：
- 连接超时或讀取超时：請求到達但服務端没能在合理時間内完成响應，蜘蛛侧记為超时，這個 URL 相当于没被抓到。
- 5xx 突發：資料库连接池耗尽、上游接口拖慢、發布重啟，都會在短時間内产生成片 500、502、503。
- 连接被重置：網關、防火墙、限流组件主動断開，日誌里常表現為請求未完成或異常關閉。
- 200 但极慢：狀態碼正常，耗时從几百毫秒升到數秒，蜘蛛會主動降低對整站的抓取並發。
二、為什么超时和 5xx 比 404 更容易打乱节奏
404 表達的是“這個地址不存在”，蜘蛛會把它记為無效 URL 並逐步减少訪問。超时和 5xx 表達的是“現在拿不到”，属于临时性失敗，蜘蛛通常會稍後重试；但如果重试仍然失敗，重复的失敗记錄會累积成對站点稳定性的负面判断。
判断标准可以简化為一句话：404 消耗的是入口價值，超时和 5xx 消耗的是抓取信任。
這也是為什么恢复之後抓取量往往不會立刻回到原有水平——爬虫需要重新试探，逐步提高並發，這個過程有时比中断本身更長。
三、按时段統計失敗率的做法
- 把当天日誌按小时切分，分別統計總請求數、超时數、5xx 數、平均响應時間。
- 算出每小时的失敗率，标出明顯高于日常基线的時間窗。
- 把失敗窗口與运维事件對齐：發布、备份、批量任務、缓存刷新、上游接口變更。
- 對照同一時間窗内被抓取的 URL 類型，看是整站受影响，還是集中在某類動態頁或某台後端。
做完這四步，通常能区分是“整体容量不足”還是“個別入口把资源拖垮”。後者更常见，例如某個篩選组合頁會触發大量查询，被反复抓取後拖慢整台机器。
四、恢复阶段值得注意的几点
- 先確認失敗率回到基线，再考虑新增入口或提交新 URL，避免在脆弱期扩大抓取面。
- 對确實無法承载的參數组合，用 robots.txt 或連結收敛减少入口，而不是放任其反复超时。
- 如果是單台後端的問题，先摘除異常节点，观察失敗率是否随流量迁移而下降。
- 恢复後的一两天内，重点看回訪量而非新增抓取量，回訪恢复通常意味着信任在修复。
五、日常核對清單
- 是否有稳定的响應時間基线，而不只看可用性监控里的“是否在线”。
- 超时值是否與自身最慢的正常頁面匹配，過短會誤伤慢頁面，過長會让蜘蛛空等。
- 5xx 是否有告警，並且能關联到具体的發布動作。
- 限流規則是否對搜尋蜘蛛做了区分，避免正常抓取被当作攻击拦截。
- 是否按 URL 類型记錄平均响應時間，便于發現某類頁面在拖慢整体。
服務器稳定性不是一次性優化，而是一條需要持續观测的曲线。把失敗率、响應時間和抓取量放在同一張表里看，很多“内容没問题却不被抓”的疑問，會在時間轴上找到對應的解释。