标签：蜘蛛重试

服务器抖动与蜘蛛重试：5xx、连接中断和 Retry-After 对抓取路径的影响

蜘蛛抓取不是一次请求就结束。当服务器返回 5xx、连接被重置或响应不完整时，蜘蛛会根据错误类型决定重试、降频还是暂时放弃。本文讨论这些情况下抓取路径如何续接，以及运营侧该排查哪些服务器与日志信号。