蜘蛛每次访问一个 URL，最先拿到的不是页面内容，而是响应状态码。它决定了接下来是解析页面、换个地址重试，还是把这条 URL 暂时搁置。内容和内链平时有人盯，状态码却常常要等到“页面打不开”才被翻出来看，这时候影响往往已经持续了一段时间。
各个状态码段在抓取里的含义
不需要背完整的码表，但下面这几段的区别要分清楚：
- 2xx：正常返回，蜘蛛会继续解析页面内容。要注意的是，返回 200 不代表页面没问题，一个内容为空或明显是错误提示的 200 页面，对抓取同样没有价值。
- 3xx：跳转。单次跳转通常可以接受，链条越长，蜘蛛能走到的概率越低。跳转本身有单独的自查项，这里只看它在状态码统计里占比是否异常。
- 4xx：404 表示地址确实不存在，属于正常信号；401、403 则表示“存在但不让访问”，两者对蜘蛛的意义完全不同，别混在一起看。
- 5xx：服务端出错，属于临时性信号。偶尔出现可以重试，长期或大面积出现，会让蜘蛛降低来访频率。
巡检从哪几个地方取数
服务器日志
日志里能拿到蜘蛛的真实访问记录，包括 URL、状态码、时间戳和 UA。把蜘蛛 UA 过滤出来，按状态码分组，是成本最低的一次体检。
搜索后台的抓取统计
后台给出的抓取错误通常已经做了归类，能看到哪类错误集中在哪些地址。它和日志互为补充：日志信息更全，后台更贴近蜘蛛实际的处理结果。
按目录分组，而不是只看总量
整站 5xx 占比 0.3% 听起来不高，但如果这 0.3% 全部集中在核心栏目下，实际影响就完全不同。建议按一级目录分别统计，看清楚问题是全局性的还是局部性的。
几类容易被忽略的情况
- 间歇性 5xx：只在某个时段出现，比如定时任务跑的时候。整点抓一次看不出问题，需要按小时维度翻日志。
- 长期挂着的 503：维护页上线后忘了撤，或者某个接口一直返回 503。蜘蛛会把它当临时状态反复重试，反复消耗抓取次数。
- 集中在某个目录的 403：如果 403 只出现在特定路径，先确认是不是权限配置或防护策略的问题，而不是直接当成“页面不存在”处理。
- 429 和请求限速：短时间大量请求被拒时会返回 429。偶尔出现无妨，持续出现说明访问节奏需要调整。
- 改版后的批量 404：改版正常会带走一批旧地址，重点是这批地址是否还有外部入口指向它们，需要逐个确认该跳转还是该放弃。
一个可执行的巡检节奏
- 每天扫一眼 5xx 和 429 的数量，出现明显波动就记下来，先不急着改，观察两天。
- 每周按一级目录统计一次状态码分布，和上周的数据做对比。
- 每月挑一批长期返回 4xx 的旧 URL，确认是该做跳转、该更新内容，还是该让它保持 404。
- 每次上线或改版之后单独跑一次全站状态检查，重点看新增的 5xx 和异常 403。
状态码是蜘蛛和站点之间最基础的对话。它不需要多复杂的工具，但需要有人定期看一眼，并且知道异常数字背后的含义。
把状态码纳入日常巡检，并不需要额外搭一套系统。日志、后台统计和一次全站扫描，三样凑齐就够用了。真正拉开差距的，是发现问题之后有没有人跟进处理。