爬虫拿到一个 URL 之后，最先判断的通常不是页面写了什么，而是服务器返回了哪个状态码。状态码决定这次请求算不算一次有效抓取、这个地址之后还会不会被再次访问、抓取预算要不要继续投给它。入口页数量一多，状态码管理的好坏就会直接反映在访问日志的分布里。
状态码是爬虫的第一次判定
页面正文要下载完才能解析，状态码在响应头里就已经给出。对爬虫来说，这是一个成本极低的判断依据：200 意味着可以继续读下去，4xx 意味着这个地址当前没有内容，5xx 意味着服务器这边出了问题、可以稍后再来。入口页如果长期返回混乱的状态码，爬虫对这个域名的抓取节奏就会变得保守。
200：不是返回成功就算合格
200 只代表请求被正常处理，不代表页面有抓取价值。以下几种情况都属于“状态码没错、但抓取被浪费”：
- 返回 200，但正文为空，只剩导航、页脚和模板占位；
- 返回 200，内容与入口页主题无关，等于把抓取引向无效页面；
- 返回 200，可见内容依赖 JS 渲染，而爬虫拿到的是空壳 HTML。
这类页面在日志里显示为成功，在效果上却接近失败，通常被称为软 404。它比明确的 404 更麻烦，因为爬虫会反复回来确认，而每次确认都在消耗同一份预算。
404 与 410：确认不再需要时怎么选
404 表示当前找不到该资源，410 表示已经永久移除。如果入口页只是临时下线做调整，用 404 会让爬虫在之后一段时间内反复重试；如果确实不再使用，410 表达得更明确，重复访问通常会更快减少。选择哪一种，标准是这个地址还会不会回来，而不是哪个“看起来更狠”。
503 与 429：临时状态的正确用法
维护、迁移、流量异常时，503 是比 404 更合适的表达，配合 Retry-After 告诉爬虫多久之后再来。但要避免把 503 当成长期挡板：长时间返回 503，爬虫会逐步降低访问频率，恢复后需要一段时间才能回到原来的抓取节奏。429 则用于请求过于频繁的场景，同样建议带上等待时间，而不是无提示地拒绝。
跳转状态码：301 与 302 的分工
301 表示永久转移，302 表示临时转移。入口页之间如果大量使用跳转，每次抓取都要多消耗一跳请求；跳转链堆到两三层以上，抓取深度和到达率都会受影响。能用直链的地方尽量用直链，跳转留给确实发生地址变更的场景。
上线前的状态码检查清单
- 入口页是否都返回 200，且响应中带有可见正文，而不是空壳；
- 已下线的页面是按实际意图返回 404 还是 410，有没有长期挂着的假 200；
- 维护期的 503 是否带有 Retry-After，有没有一挂就是几周；
- 跳转链是否控制在一层，是否存在 A 跳 B、B 又跳回 A 的循环；
- 日志中状态码分布是否稳定，5xx 比例是否出现异常抬升。
状态码本身不会让站点立刻出问题，但长期、大量、杂乱的状态码，会让爬虫逐渐降低对这个域名的抓取意愿。把状态码当成入口页的一项基础配置来维护，比事后从日志里找原因要省力得多。