看抓取日志时，很多人只关注状态码是不是 200。但 200 只说明服务器正常响应了请求，不代表页面有实际内容。商品下架后仍保留原 URL、筛选条件组合出空结果、栏目下暂时没有文章，这些页面都可能返回 200，用户和搜索引擎打开的却是一个什么都没有的页面。这类页面通常被称为软 404。
软 404 和真正的 404 差在哪
真正的 404 会明确告诉搜索引擎这个地址不存在。软 404 返回的是 200，内容却是空的、无结果的，或者只有一句暂无内容。对搜索引擎来说，它需要多花一步去判断页面价值，处理速度通常比真 404 慢，也更容易出现已抓取但未索引，或者直接收录一个空页面的情况。
它和页面内容偏薄也不完全一样。内容偏薄的页面仍然有主体信息，软 404 则是页面本身没有可用的主体内容。
常见来源先列清楚
- 商品、房源、职位等已下架，但 URL 还能打开；
- 站内搜索、筛选、排序组合出零结果；
- 栏目或标签下暂时没有内容；
- 需要登录或权限不足，未登录时返回空页面；
- 模板或数据调用出错，页面只剩头部和底部。
前两类最常见，也最容易在日志里堆积大量 URL。
先识别，再决定怎么处理
不要看到空页面就直接批量 404。先确认它是暂时状态还是永久状态。
- 看状态码分布。从服务器日志或抓取统计里找出返回 200 但响应体很小、内容为空的 URL 类型。
- 抽查页面。打开几个代表性 URL，确认是模板问题、数据问题，还是业务上确实没有内容。
- 区分暂时与永久。商品可能补货、栏目可能更新，这类属于暂时；下架不再上架、活动永久结束，属于永久。
按场景选择处理方式
永久不再使用的页面
如果页面确定不会再恢复，返回 404 或 410 比继续返回 200 更清晰。410 表示永久移除，语义更明确，但 404 同样可用。处理后把站内指向它的链接去掉，sitemap 里也移除对应 URL。
暂时没有内容的页面
如果页面之后还会恢复，不要急着 404。可以保留 200，但在页面上加 noindex，等有内容后再移除。这样既不影响用户访问，也避免空页面进入索引。若只是短暂故障，也可以考虑返回 503，但要控制时间，不要长期使用。
站内搜索和筛选页
这类页面数量可能非常多。零结果页建议加 noindex，并且不要放进 sitemap，同时减少从其他页面指向它们的链接。有结果的筛选页是否收录，要单独判断，不要和零结果页混在一起处理。
几个容易帮倒忙的做法
- 把空页面 301 到首页。这会让搜索引擎把大量 URL 都指向首页，也容易让用户困惑。
- 用 JavaScript 跳转首页。状态码仍是 200，问题没有被解决。
- 用 robots.txt 屏蔽代替 noindex。屏蔽后搜索引擎无法读取页面上的 noindex，已收录的 URL 可能长期留在索引里。
- 全部返回 200 加一句暂无内容。这等于把软 404 留在站点里，抓取资源会持续被消耗。
处理完之后看什么
调整后不需要天天盯着，但可以按周观察几项：抓取日志里空页面 URL 是否减少；索引中是否还出现这些地址；已抓取未索引的数量是否变化。如果页面数量很大，分批处理比一次性全改更容易定位问题。
软 404 的核心不是状态码好不好看，而是让搜索引擎能明确判断一个 URL 该留还是该走。暂时保留、永久移除、不参与索引，这三种状态分清楚，处理顺序自然就清楚了。