抓取日志里最容易看到的是状态码分布。同样是 404，有的是内容真的下线，有的是内链写错，有的是筛选参数拼出的空结果。把它们混在一起处理，往往会出现两种偏差：该消失的 URL 一直占着抓取配额，该保留的 URL 被过早清掉，等有流量回来时又要重新等发现。
判断一个 URL 该保留、修复还是移除，关键不是状态码本身，而是它背后代表的是永久变化、临时变化，还是站点侧的错误。
三种动作，先分类再动手
- 保留：URL 仍然有效，只是这次没抓成功或内容没变。动作是修服务端、修跳转，不动地址。
- 修复：URL 本身有问题，例如拼写、参数、大小写、层级冲突。动作是改正内链、补跳转、统一写法。
- 移除：内容确实不再存在，且没有等价替代页。动作是返回明确状态、清理入口、从 Sitemap 中撤下。
常见状态码的处理思路
200 与 304：不用动地址
200 说明被抓成功，重点看内容是否与目标一致，例如列表页返回了空结果却仍是 200。304 表示内容未变，说明缓存协商有效，站侧无需调整，抓取频率由搜索引擎自行判断。
3xx：先看跳转是否稳定
301 表示永久迁移，搜索引擎会逐步把记录与权重转向新地址；302 或 307 是临时跳转，长期使用会让旧地址继续被反复抓取。核对重点是：跳转是否一跳到位、是否跳向最终可访问的 URL、是否存在链式跳转（A 到 B 再到 C）。跳数越多，单次抓取消耗越大，落地 URL 的发现也越慢。
404 与 410：区分暂时没有和彻底没有
404 表示未找到，410 更明确地表示已删除。两者都能让 URL 逐步退出，但前提是内链和 Sitemap 里不再出现该地址。如果页面仍在导航、面包屑或站点地图中被引用，搜索引擎会一次次重试，等于用内链反复把死链推回抓取队列。
429 与 503：看临时性，别急着删
这两个通常代表现在抓不了。429 是请求过多，503 是服务暂时不可用。处理方向是降低服务端压力、必要时给出合理的重试提示，而不是把 URL 下线。只有确认某个地址长期不可恢复时，才考虑移除。
5xx：先修服务器，再谈 URL
如果同一批 URL 集中出现 5xx，问题多半在应用、数据库或回源上。此时任何 URL 层面的调整都是次要的，先恢复稳定响应，再回看抓取日志中的状态变化。
保留、修复还是移除：核对清单
- 该 URL 是否有等价替代页？有就做 301，没有才考虑返回 404 或 410。
- 内链、导航、面包屑、Sitemap 中是否还引用它？
- 它是否出现在搜索结果或外部链接中，突然返回 404 会不会造成体验断裂？
- 它是参数组合拼出的地址吗？能否用规则收敛，而不是逐个处理？
- 处理之后，日志中该路径的抓取次数是否下降？
状态码决定了搜索引擎怎么理解这个 URL，而内链和 Sitemap 决定了它还会不会被反复送进抓取队列。两者不一致时，处理效果通常不会理想。
实际操作中，可以按周对比抓取日志的状态码分布，找出反复出现 404 或 5xx 的路径段，再回到内链和站点地图里定位入口。状态码是信号，真正决定结果的是站点侧有没有把入口一起收拾干净。