收录掉了一批页面，第一反应通常是去查状态码和 robots。但如果 URL 能正常打开、返回 200、页面里也没有 noindex，问题往往不在这几层，而在搜索引擎对页面内容的判断上——也就是常说的软 404。
软 404 是内容判断，不是状态码判断
正常的 404 是服务器明确告诉蜘蛛“这个地址没有内容”。软 404 则是服务器返回了 200，但页面实际呈现的内容被判定为“没有有效内容”或与地址所表达的预期不符。两者在技术层面对不上，在收录结果上却可能很像：页面从索引里消失，或者从一开始就没被收录。
关键差别在于：404 能在状态码里一眼看到，软 404 只能从页面内容里看出来。
最常见的几类触发场景
- 站内搜索结果为空：搜索词没有匹配结果，页面照样返回 200，正文只有一句“暂无相关结果”。
- 内容已下架但页面还在：商品、房源、职位下架后 URL 保留，页面只剩“该内容已下架”的提示。
- 筛选和参数组合出空列表：多条件叠加后没有任何结果，模板仍然渲染出一个完整页面。
- 模板页正文太薄：列表页、聚合页、标签页只有一个标题加几条链接，缺少可读内容。
- 程序错误被吞掉：数据库查询失败或超时，前端捕获后返回 200 加一段友好提示，蜘蛛看到的是一个正常页面。
按这个顺序排查
- 先从掉量的时间段里抽出几十个可疑 URL，覆盖不同页面类型，不要只看首页和栏目页。
- 不看源码，看渲染后的正文：主内容区域是否为空、字数是否明显低于同类正常页面。
- 检查错误处理逻辑：有没有把 404、410、500 统一改写成 200 返回。
- 对照抓取日志，看这些 URL 的抓取频次是否在下降——蜘蛛通常会先减少抓取，再取消索引。
- 同一批 URL 隔一段时间再对比一次，确认是持续状态还是偶发情况。
处理顺序：先定状态，再谈内容
确认是软 404 后，不要急着补内容，先决定这个页面还有没有存在的必要。
- 该消失的：下架内容、无效筛选组合，直接返回 404 或 410，不要再让 200 兜着。410 的语义更明确，适合永久移除。
- 该留的：补充主内容，让它和同类正常页面处在同一水平线，而不是靠塞推荐位凑数。
- 搜索空结果页：只在确实无结果时返回 404 或加 noindex，有结果时正常放行，避免一刀切处理。
- 有替代内容的下架页：保留页面并给出指向替代内容的链接，同时让用户和蜘蛛都能看出这是替代关系，而不是原内容。
别往软 404 上继续喂链接
有些站会把大量空结果页、失效页塞进站点地图，或者用批量派链的方式增加入口，指望“多给点入口就会收录”。如果这些页面本身就是软 404 状态，增加入口只会让抓取配额更快被消耗，真正有价值的页面反而排到后面。URL 发现这一环做得再多，也解决不了页面质量层的问题。
一个容易忽略的点
软 404 的判断标准会随页面类型变化。同样的正文长度，放在商品详情页可能偏薄，放在问答页可能是正常水平。所以不要用一个统一字数阈值去卡所有页面，而是拿同一类型下的正常页面做对照。
软 404 的排查顺序是：先看渲染后的内容，再看状态码，最后才看抓取和索引数据。顺序反过来，很容易在技术层绕圈。