标签：重试退避

抓取失败之后：蜘蛛会重试几次、多久之后再回来

蜘蛛遇到超时、5xx 和 404 时的处理方式并不相同：有的会进入退避重试，有的会被长期搁置。本文梳理临时失败与确定性失败的区别、主机级别降频带来的连带影响，以及页面修好之后如何让它更快回到抓取队列。