抓取预算听起来抽象，但在服务器日志里它非常具体：蜘蛛一天来过多少次、抓走了多少个 URL、其中多少是白跑的。状态码分布是最容易暴露浪费的一项指标。做一次状态码自查，常常不用改一个字的内容，就能让有限的抓取额度落到真正有价值的页面上。
状态码自查到底在看什么
很多人把这件事等同于“检查有没有死链”，其实范围要大一些。要看的是整站返回码的构成比例，以及每种返回码背后对应的页面类型。
- 200：正常返回，但数量异常偏高的目录值得警惕，可能是参数页、筛选页被大量生成。
- 301 / 308：永久跳转，用对了是好事，用错了会把权重和抓取引到错误的地方。
- 302 / 307：临时跳转，长期使用等于告诉搜索引擎“原地址仍是主版本”。
- 404 / 410：内容确实不存在，410 表达更明确，但不必为了用 410 而大动干戈。
- 5xx：服务端错误，蜘蛛会认为站点不稳定，抓取频率可能被主动下调。
三步做一次状态码普查
- 统计分布：从访问日志中按状态码分组，看每类占比，并挑出返回次数最多的前几十个 URL。
- 抽样验证：对可疑 URL 手动访问或写脚本批量请求，确认返回码与页面实际内容是否一致。
- 分类处理：把每个异常 URL 归入“该保留、该跳转、该删除、该修复”四类，再动手改。
统计时注意两点
一是日志里混着爬虫和真实用户，先按 UA 分开看，否则结论会被自己的监控程序干扰。二是要区分“一次性出现”和“持续出现”，偶尔的 500 大多是抖动，连续几天同一路径报错才是问题。
验证时别只看首页
列表页翻到第 50 页、详情页的最后一个参数、已下架商品的老链接，这些地方最容易出现异常返回码，也最容易被忽略。
几个高频的坑
软 404：内容没了，页面还在
页面返回 200，但正文位置写着“该内容已删除”或只剩一个空壳模板。这种情况比硬 404 更麻烦，因为蜘蛛会认为这是一个有效页面并持续回访。处理方式通常是让它返回 404，或者跳转到真正相关的新页面。
把 302 当 301 长期用
改版、换域名之后临时加了一条跳转，后来忘了改。短期没问题，长期会让搜索引擎一直拿不准哪个地址才是主版本。确认不再回退的跳转，就换成永久跳转。
登录页和验证码跳转
需要登录才能看的页面被蜘蛛抓到，通常会被 302 送去登录页。如果这类 URL 数量很大，等于白白消耗抓取预算，用 robots.txt 或权限控制挡掉更合适。
5xx 被当成“过一会儿就好”
网关超时、数据库连接失败、后端进程被重启，都会产生 5xx。偶发可以接受，但如果某个目录持续报错，先修服务端，再谈内容优化。
处理时的优先级
先止血，再清理，最后才是优化。持续报 5xx 的路径优先修；被大量抓取的错误跳转其次；长期存在、无人访问的老 404 可以放到队列后面慢慢处理。
动手之前先备份跳转规则和路由配置。批量删除或批量改写跳转，很容易顺手把正常页面一起误伤。
把它变成常规动作
状态码不会一直保持正常。每次上线新功能、改版目录结构、下线旧栏目之后，都可以顺手跑一遍统计。频率不用太高，每月一次，或者大改动之后一次，就足以发现大多数问题。真正的价值不在于消灭所有 404，而在于让每一个被蜘蛛访问的地址，都有一个说得清楚的答案。