标簽：失敗重试

蜘蛛池里的失敗重试：哪些 URL 值得再喂一次

蜘蛛抓取失敗不等于地址没價值，但也不是所有 URL 都值得重喂。本文按狀態碼给失敗原因分類，說明 5xx、限流、超时等情况适合修好後小批量重试，而 404、robots 拒绝、空壳頁則不必反复投喂，並给出分组重试、單變量調整與观察期的具体做法。