标簽：蜘蛛抓取失敗

服務器返回 5xx 或超时：蜘蛛抓取失敗之後會怎么處理

蜘蛛来訪时如果服務器报了 5xx、连接超时或者直接拒连，這次抓取就算失敗。抓取失敗和收錄是两件事，短暂失敗通常不會立刻影响已收錄的頁面，但持續失敗會让蜘蛛降低回訪频率，甚至把頁面從索引里清掉。本文按狀態碼分類，梳理判断顺序和几種常见的誤伤情况。