很多站点在流量下滑之后才发现，被搜索引擎“处理掉”的并不是打不开的页面，而是一批能正常打开、返回 200、但内容早就没有价值的页面。这类页面在抓取层面看不出问题，在索引层面却很容易被归到软 404 一类，进而影响整站页面的收录表现。
软 404 到底是什么
软 404 指的是：服务器返回正常状态码（通常是 200），但页面内容传达的信息是“这个资源不存在”“这个查询没有结果”“这条内容已经下架”。搜索引擎需要自己从页面内容里判断它的真实状态，而不是从状态码读取。
它和普通 404 的区别在于：普通 404 是明确告诉爬虫“别来了”，软 404 是把爬虫请进门，再让它自己发现屋里是空的。对爬虫来说，后者要花费更多抓取成本，也更容易让站点质量评估变得混乱。
常见的触发场景
- 商品下架、文章删除后，页面模板还在，只是正文被换成“内容不存在”或一句占位文字。
- 筛选、排序、组合参数生成的结果页，出现“没有找到符合条件的商品”。
- 详情页依赖接口取数据，接口报错或超时，页面只剩标题和页脚。
- 分类页最后一页被清空，但分页链接依然可点，页面照常渲染。
- 用户主页、标签页在内容被删后，只剩一个空列表加一句提示。
这些问题在人工浏览时往往不明显，因为用户很少点进来；但对爬虫来说，它们和正常页面一样占用抓取配额。
搜索引擎通常怎么处理
搜索引擎会通过页面内容、标题、正文密度以及同模板页面的对比，判断这个 URL 是否还值得保留在索引里。判断为软 404 之后，通常不会立刻从索引中移除，而是经历一段观察期：先降低抓取频率，再逐步减少展示，最后可能从索引里消失。
需要说明的是，这个过程没有固定时间表，也不存在“改一下就能恢复”的开关。真正决定结果的是页面本身是否提供了可用的内容。
按什么顺序排查
- 先在抓取与索引报告里，筛出状态为“软 404”“已抓取但未编入索引”的 URL，看看是否集中在某几个模板。
- 随机抽取几十条 URL，用抓取工具或命令行请求，记录返回码、页面标题和正文长度。
- 拿同一模板下的正常页面做对比，看差异出现在数据层还是模板层。
- 如果是接口或渲染问题，检查抓取时是否真的拿到了内容，而不是只拿到了空壳。
- 如果是参数页，统计哪些参数组合会产生空结果，把它们和内链入口分开处理。
三种处理方式，按页面价值选
确实不存在的内容
直接返回 404 或 410，并且让页面文案与状态码一致。不要一边提示“内容不存在”，一边返回 200，这种自相矛盾最容易触发软 404。
暂时缺货但仍有入口价值
保留页面的实质内容，补充同类推荐、替代型号或相关文章，让页面本身仍然能回答问题。单纯留一句“暂时无货”，对用户和爬虫都是空页面。
参数生成的空结果页
可以考虑统一到主列表页，或用 noindex 处理。但要注意，noindex 只对已经能被抓取的页面生效；如果这些页面的抓取本身就在消耗配额，还需要从内链和 sitemap 层面减少暴露。
几个容易踩的坑
- 只改了状态码，页面文案还是“内容不存在”，问题并没有解决。
- 批量把页面改成 404，却没清理站内链接，结果产生大量内部死链。
- 用 JS 跳转到首页来代替 404，爬虫可能把它同时看成软 404 和异常跳转。
- sitemap 里依然保留已经下架的 URL，等于持续提醒爬虫来抓空页面。
- 把正常但暂时没有数据的页面误判成软 404，反而删掉了有价值的入口。
软 404 的核心不是状态码写错，而是页面对外传达的信息和它实际能提供的内容不一致。
小结
处理软 404 的思路并不复杂：先确认页面的真实状态，再让状态码、页面内容和内链入口三者保持一致。与其纠结“怎么让爬虫继续收录”，不如先检查这些页面是否还值得被收录。把无效页面收干净，剩下的页面才有机会获得更稳定的抓取节奏和索引表现。