标签：响应规范

蜘蛛池入口页的 HTTP 状态码：4xx、5xx 与软 404 如何影响抓取

状态码是蜘蛛打开入口页后的第一判断依据。本文梳理 4xx、5xx、3xx、429 与软 404 在蜘蛛眼里的不同含义，说明为什么间歇性 500 会拖慢整站抓取节奏，并给出一份可以直接执行的响应规范检查清单。