蜘蛛抓取网站时，看到的第一个信息不是标题，也不是正文，而是 HTTP 状态码。状态码决定它接下来是继续解析页面，还是直接放弃、稍后再来。很多站点运营者习惯只盯着抓取量和收录数，却很少按状态码把日志拆开看一遍，结果就是错误页面长期混在正常抓取里，占着预算还不产生价值。
状态码分布能反映什么
把最近一周的访问日志按状态码分组统计，通常能看到几类情况：
- 200：正常返回，但要留意其中是否混着内容为空、或只在页面上提示“没有找到”的软 404。
- 301 / 308：永久跳转，数量稳定属于正常；如果持续增长，说明站内有链接还在指向旧地址。
- 302 / 307：临时跳转，用在活动页、登录跳转上很常见，但不适合用来处理长期改址。
- 404 / 410：前者表示暂时找不到，后者表示明确删除。已经确认不再提供的内容，用 410 表达更干净。
- 5xx：服务器端错误，蜘蛛遇到这类响应通常会降低抓取频率，严重时暂停一段时间。
软 404 是最容易被忽略的一类
有些站点在没有内容时仍然返回 200，只在页面里写一句“抱歉，没有找到相关内容”。蜘蛛看到的是一次成功抓取，于是把这个地址当作正常页面处理。数量一多，整站的页面质量就会被稀释。自查时可以抽几个已知不存在的地址，看返回码到底是 404 还是 200。
查哪些维度
- 按状态码看总量占比：正常情况下 200 应占绝大多数，3xx 和 4xx 是少数，5xx 应尽量接近零。
- 按目录看分布：如果某个栏目集中出现 404，多半是栏目改版后内链没有同步更新。
- 按来源看：站内链接造成的 404 和外部链接造成的 404，处理优先级并不一样。
- 按时间看：5xx 是否集中在某个时段，往往和备份、批量任务或资源占用打满有关。
- 只看搜索引擎 UA 的日志：普通用户看到的错误页可能有友好提示，蜘蛛拿到的必须是标准状态码。
状态码是给机器看的第一句话，页面里的提示文字写得再好，也替代不了一个准确的状态码。
处理节奏与优先级
- 5xx 优先处理，先查服务器负载、数据库连接和缓存回源是否正常。
- 有内链指向的 404 优先修，改链接或补重定向，二选一即可，不要同时做两件事。
- 确认永久删除的内容，可以考虑从 404 改为 410，并在站内链和站点地图里一并清理。
- 临时跳转确认已经稳定后，改成 301，避免长期挂着临时状态。
- 权限页、登录页、后台入口，不该让蜘蛛拿到 200 的正常页面。
这件事不需要每天做，按周或按月抽一次日志就够。记录下每次的错误码数量和主要来源，下一次对比就能看出修复有没有生效。状态码干净了，抓取预算才更可能落在真正需要被发现的地址上。