标簽：响應規范

蜘蛛池入口頁的 HTTP 狀態碼：4xx、5xx 與软 404 如何影响抓取

狀態碼是蜘蛛打開入口頁後的第一判断依據。本文梳理 4xx、5xx、3xx、429 與软 404 在蜘蛛眼里的不同含义，說明為什么間歇性 500 會拖慢整站抓取节奏，並给出一份可以直接执行的响應規范检查清單。