有些页面打开后地址栏正常、状态码也是 200，但页面主体几乎是空的：商品早已下架、活动已经结束、文章被删只留下框架和导航。这类「看起来正常、实际没内容」的页面，通常被称为软 404。它和真 404 最大的差别在于：服务器告诉搜索引擎「这个地址有效」，而用户和爬虫实际拿到的却是一个空壳。
软 404 为什么会拖住收录
搜索引擎对 200 的默认理解是「这是一个正常可用的页面」，于是它会尝试抓取、解析、参与索引。问题在于：
- 抓取预算被消耗在无内容页面上，真正需要被发现的页面反而排队更久。
- 这类页面数量一多，会让整站的索引质量被拉低，影响搜索引擎对站点整体价值的判断。
- 用户从搜索结果点进来看到空页面，停留和回退行为都不理想。
所以处理软 404 的目的，不是「让收录变多」，而是让索引里的页面更接近用户真正需要的内容。
先分清三种「空页面」
很多人一看到空页面就直接加 noindex，其实应该先分类，因为不同类型对应完全不同的处理方式。
- 真 404 / 410：页面已彻底不存在，服务器明确返回错误状态码，这是最干净的信号。
- 软 404：内容已消失，服务器仍返回 200，页面只剩模板、导航和一句提示语。
- 浅薄但正常：页面有内容，只是信息量少，比如一段短说明或几个字段。这类页面不该按软 404 处理，应该考虑的是补充内容或合并。
怎么确认一个 URL 属于软 404
- 关闭 JavaScript 抓取一次原始 HTML，看看主体区域是不是本来就空，避免把渲染失败误判成内容缺失。
- 对比状态码与主体文本量，只看「200」不解决问题。
- 在搜索结果里抽样看这类页面：如果被收录却没有像样的标题和摘要，多半就是空壳被索引了。
- 翻服务器日志，看这些 URL 是否被反复抓取却长期没有任何内容变化。
按页面类型分流的处理顺序
- 先归类：把问题页面分成「永久消失」「有明确替代页」「暂时缺货或临时下线」三组，不要统一处理。
- 永久消失的：让服务器返回 404 或 410，并确认返回的是真实状态码，而不是带着错误提示却仍返回 200 的兜底页。
- 有替代页的：做一对一 301，跳到最相关的新页面，不要整批跳首页。批量跳首页属于软 404 的另一种形式。
- 暂时缺货或临时下线的：保留 200 更合适，但要在页面上补充说明、预计恢复时间或同类推荐，让页面本身仍有信息价值；如果长期无法恢复，再按永久消失处理。
- 回头清理入口：删掉内链、导航、面包屑和站点地图里的旧地址，避免爬虫顺着入口反复访问已经无效的页面。
- 观察后续变化：索引移除需要时间，不用每天查一次，按周或按双周看趋势即可。
几个容易踩的坑
- robots.txt 屏蔽 + noindex 同时用：被 robots.txt 拦住的页面爬虫抓不到，也就读不到 noindex，两个指令叠加常常达不到预期效果。
- 全站兜底页统一返回 200：错误页、参数错误页都返回 200，会让大量无效 URL 进入抓取队列。
- noindex 和 canonical 指向自己混用：信号互相矛盾时，处理结果会变得难以预测。
- 只改前端不改响应：页面提示「已下架」但后端依旧返回 200，从搜索的角度看没有变化。
判断标准可以简化成一句话：这个地址如果被用户从搜索里点进来，他能不能看到有用的东西？能，就保留并补内容；不能，就给出明确的状态信号，别让它顶着 200 留在索引里。
软 404 的处理重点不在技巧，而在分类：先想清楚这个 URL 对用户还有没有存在价值，再决定是让它消失、跳转，还是补充成真正可用的页面。分类清楚了，状态码、内链和站点地图的调整自然就有了顺序。