标簽：蜘蛛退避

服務端错誤與抓取退避：蜘蛛遇到超时、5xx 之後會怎么走

蜘蛛抓取失敗並不都是一回事：连接超时、连接重置、5xx 在蜘蛛眼里含义不同，触發的退避强度和恢复速度也不一样。本文按失敗類型拆解蜘蛛的處理逻辑，說明降速通常有哪些表現，並给出抓取恢复需要满足的條件與日常该盯的指标。