蜘蛛进入一个页面，最先看到的不是标题，也不是正文，而是服务器返回的那一行状态码。这一行决定了它接下来是继续解析、换个地址再试，还是直接把这个 URL 标记为不值得再来。蜘蛛池入口页的很多问题，往根上追并不是内容不行，而是响应本身就给出了错误信号。
状态码是蜘蛛读到的第一句话
入口页数量多、模板相似，一旦状态码使用混乱，很容易出现两种情况：一是该被放弃的页面一直返回 200，蜘蛛反复来；二是本该保留的页面偶尔报错，抓取频率被压下来。前者浪费抓取预算，后者损失发现机会。所以状态码不该被当成运维随手一填的字段，而要和页面的真实用途对齐。
各类状态码该怎么用
200：正常返回，但别用它伪装错误页
页面已经不存在、内容为空，却仍然返回 200，这就是常说的软 404。蜘蛛会把这类页面当成正常内容参与后续判断，占用抓取名额。入口页里如果有一批模板相同、正文为空的页面长期返回 200，会拉低整体质量印象，也让真正有内容的页面更难被优先处理。
301 与 302：永久与临时要分清
换域名、换目录结构这类不再回头的调整，用 301；临时维护、短期测试用 302。跳转链尽量控制在一跳，两跳勉强可以接受，三跳以上蜘蛛容易中途放弃。302 长期挂着不收尾，会让信号看起来不稳定，不如尽早改成 301 或直接返回对应状态。
404 与 410：让蜘蛛明确放手
页面已删除且不再恢复，410 比 404 表达得更干脆。入口页退役时，直接返回 404 或 410，比留一个空壳 200 页面干净得多。保留空壳的好处只是自己看着整齐，对蜘蛛来说却是持续干扰。
403 与 429：拒绝和限流不要混用
403 表示明确禁止访问，蜘蛛容易理解为长期不可用；429 表示请求过多，更适合短时间压力大的情况，配合 Retry-After 使用效果更好。如果只是临时扛不住，用 429 或 503，不要动不动给 403，那相当于把这批入口页直接排除在外。
500 与 503：临时故障要带上重试信息
503 加 Retry-After 是在告诉蜘蛛稍后再来，比直接抛 500 更友好。但如果某个入口页长期 503，等于持续说明这里不稳定，时间长了抓取频率会被下调。故障修好后，记得确认状态码恢复正常，别让过渡状态一直留着。
响应头里容易被忽略的几项
- Content-Type：明确写 text/html; charset=utf-8，乱码或类型错误会让解析中断。
- X-Robots-Tag：可以在响应头层面控制 noindex、nofollow，适合不方便改页面的场景，但要注意和页面内的 meta 标签保持一致。
- Cache-Control：缓存太短，每次抓取都回源，给源站添压力；太长，又可能让更新后的内容迟迟不被看到。
- Location：跳转目标建议写绝对地址，相对地址和不完整地址容易出岔子。
- Retry-After：限流和临时维护时用上，比让蜘蛛自己猜节奏更稳妥。
几个实用的排查顺序
- 先看状态码分布。如果 200 占比异常高、但内容普遍很薄，优先查软 404。
- 再看跳转链。统计一跳、两跳、三跳以上的比例，把长链压短。
- 然后看 5xx 和 429 的时间分布。是持续出现还是集中在某个时段，对应到服务器负载去看。
- 最后核对响应头和页面实际意图是否一致，避免头里说 noindex、页面却希望被收录。
状态码不是运维细节，而是入口页对外表达意图的方式。表达清楚，蜘蛛才知道该留还是该走。
巡检时的小建议
把状态码统计做成每日或每周的固定检查项，和日志分析放在一起看。入口页批量上线、下线、改版时，状态码的变化往往比内容变化更早暴露问题。遇到大批量 5xx，先确认问题出在源站还是中间层，再决定是否降低新增节奏，不要一边报错一边继续猛加新页。
整体思路其实很简单：让每一种状态码都对应真实含义。该正常返回的就稳定 200，该退役的就干脆 404 或 410，该缓一缓的就 503 加 Retry-After。信号一致，蜘蛛的行为才更可预期，入口页的维护成本也会低很多。