标簽：蜘蛛重试

服務器抖動與蜘蛛重试：5xx、连接中断和 Retry-After 對抓取路径的影响

蜘蛛抓取不是一次請求就結束。当服務器返回 5xx、连接被重置或响應不完整时，蜘蛛會根據错誤類型决定重试、降频還是暂时放弃。本文讨论這些情况下抓取路径如何續接，以及运营侧该排查哪些服務器與日誌信号。