标签：蜘蛛抓取失败

服务器返回 5xx 或超时：蜘蛛抓取失败之后会怎么处理

蜘蛛来访时如果服务器报了 5xx、连接超时或者直接拒连，这次抓取就算失败。抓取失败和收录是两件事，短暂失败通常不会立刻影响已收录的页面，但持续失败会让蜘蛛降低回访频率，甚至把页面从索引里清掉。本文按状态码分类，梳理判断顺序和几种常见的误伤情况。