5xx 和超时，蜘蛛看到的是两種信号

500、502、503、504 這類狀態碼，是服務器明确告诉蜘蛛“我這邊出了問题”；而超时是指服務器在蜘蛛设定的等待時間内没有给出任何响應，蜘蛛拿到的是“没有回應”，不是一個明确的错誤碼。两者共同点是：這次抓取没有取到内容，一次抓取机會被消耗掉了。

区別在于後續判断。503 通常被理解為“暂时不可用”，如果带上 Retry-After，蜘蛛可能按提示稍後再来；但如果一個地址長期返回 503，又看不到任何恢复迹象，它也可能被当成持續不可用處理。超时則更容易被归到網絡或服務器响應能力的問题上，排查方向偏向源站性能和鏈路稳定性。

出错之後，蜘蛛通常不會立刻放弃

單次失敗往往先進入重试流程，間隔逐步拉長。如果同一目錄、同一 IP 下大量 URL 连續失敗，蜘蛛更可能降低整站的抓取频率，而不是逐個反复重试。這也是為什么一次持續數小时的故障，影响面通常大于“几條 URL 抓失敗”。

短期影响

• 待抓队列里的 URL 被推迟，新頁面被發現的時間變晚；
• 已有頁面的回訪間隔被拉長，内容更新不能被及时看到；
• 抓取額度花在失敗請求上，有效抓取量下降。

需要留意的滞後效應

持續的 5xx 或超时，會让蜘蛛對站点稳定性形成判断。故障結束後，抓取频率的回升往往滞後于服務器恢复正常的時間。換句话说，服務器一好，抓取並不一定立刻回到原来的样子。

故障恢复期可以做的事

1. 先看日誌確認错誤類型分布：错誤集中在某個目錄、某個 IP，還是全站？集中型問题通常更好定位。
2. 区分故障来源：源站超时、資料库慢查询、缓存击穿、上游回源失敗，處理方式完全不同。
3. 恢复後對比資料：观察故障前後同一时段的蜘蛛請求數、狀態碼比例、被抓取 URL 數量是否回到正常水位。
4. 更新 Sitemap 中的 lastmod：這能给蜘蛛一個“這批頁面有變化”的提示，但能否立即抓取仍取决于蜘蛛自己的安排。
5. 不要急着用大量 404 或跳轉清理坏鏈，先確認這些 URL 是否還有訪問價值。

把稳定性做成可预期的事

抓取中断大多不是突然發生的，而是容量、超时設定和监控缺失一点点累积的结果。

• 给蜘蛛請求和用戶請求設定合理超时，避免慢請求占满工作進程；
• 對需要查库、動態生成的頁面加缓存，减少後端压力；
• 限制單 IP 並發，避免一次抓取高峰把源站打满；
• 為可降級的模块准备静態兜底，宁可返回不完整但可用的頁面；
• 把 5xx 比例、响應時間分位數纳入日常监控，而不是等抓取量下滑才發現。

抓取中断不會直接决定頁面是否被收錄，但它會推迟蜘蛛看到内容的時間。對更新频繁的站点来说，這段時間差往往就是流量差。

怎么判断“已经恢复”

可以從三件事上看：日誌里 200 狀態碼的比例是否回到正常，新發布的 URL 是否重新進入抓取队列，以及抓取深度、抓取 URL 總數是否回到故障前水平。如果一两周後抓取量仍然偏低，再從内鏈结构、Sitemap 覆盖范围、robots 規則等方向逐項排查，而不是反复提交同一批地址。