标签：蜘蛛退避

服务端错误与抓取退避：蜘蛛遇到超时、5xx 之后会怎么走

蜘蛛抓取失败并不都是一回事：连接超时、连接重置、5xx 在蜘蛛眼里含义不同，触发的退避强度和恢复速度也不一样。本文按失败类型拆解蜘蛛的处理逻辑，说明降速通常有哪些表现，并给出抓取恢复需要满足的条件与日常该盯的指标。