有些页面打开是正常的，服务器也老老实实返回 200，但页面正文只有一句“该商品已下架”或者“暂无相关内容”。对用户来说这就是一个空页面，对搜索引擎来说却是一个状态正常的地址。这种“状态码说没问题、内容说没有”的情况，通常被称为软 404。
软 404 和真正的 404 差在哪
真正的 404 是服务器直接告诉蜘蛛：这个地址没有对应内容。蜘蛛收到之后，会把这个 URL 从待抓取队列里逐步清出去，已经收录的也可能被移除。软 404 不一样，服务器返回的是 200，蜘蛛只能靠读页面内容去判断，判断成本高得多，结论也更模糊。
模糊带来的直接后果是：这个 URL 会继续留在索引里，偶尔还会出现在搜索结果中，点进去却什么都没有。既浪费了抓取机会，也影响用户对站点的信任。
哪些页面容易变成软 404
- 商品下架、活动结束，但地址和模板保留着，只在正文里写一句提示。
- 搜索结果页、筛选页在无结果时返回 200，并显示“没有找到”。
- 内容被删除后，编辑把正文清空，标题和导航还留着。
- 需要登录才能查看的页面，未登录时显示一个空白外壳。
- 栏目页没有内容，只剩一个空列表。
对收录的实际影响
搜索引擎在处理这类页面时，通常不会立刻下结论。它会先观察一段时间：这个地址是不是还会更新，是不是只是暂时没有内容。观察期内，页面可能仍然可以被搜到，但表现一般不会好。等到系统确认这个地址长期没有有效内容，才会在索引层面做收缩。
真正麻烦的是批量出现。如果一个站点有成百上千个下架页、空结果页，它们会持续占用抓取配额，让本来该被及时处理的新内容排到后面。
自查顺序
- 从服务器日志里挑出返回 200 但响应体积明显偏小的地址，看是不是空壳页。
- 在浏览器里关掉 JS、清掉登录状态，看一眼蜘蛛拿到的版本到底是什么。
- 把这些地址按类型归类：下架、空结果、权限受限、模板残留。
- 判断每一类还有没有恢复的可能，再决定返回什么状态码。
按页面价值选择处理方式
如果内容只是暂时没有，之后还会补上，可以保留 200，但页面上要给出明确说明和替代入口，比如同类推荐、相关内容列表，别只留一句“暂无内容”。
如果内容确定不会再回来，比较干净的做法是返回 410，或者 301 到同类还有效的页面。两者都能让蜘蛛更快拿到明确结论，不用靠猜。至于空结果页、筛选页，更适合在一开始就用 robots.txt 或 noindex 控制，而不是等被收录之后再收拾。
判断标准可以简单一点：这个地址给用户看，是不是一个完整、有信息量的页面？如果不是，它就不该以一个正常页面的身份长期待在索引里。
软 404 往往不是技术难题，而是内容生命周期没人管的副产品。把下架、清空、无结果这些节点纳入日常流程，比事后逐个清理要省事得多。