站点里总会有一批页面：地址能打开，状态码是 200，但正文区域是空的，或者只显示“暂无相关内容”“该商品已下架”。这类页面常被称为软 404。它不像硬 404 那样给出明确信号，抓取工具会把它们当成正常页面处理，只是内容比对后通常不会给出索引。问题在于，这类 URL 往往会被反复抓取，占掉本该给有效页面的抓取机会。
软 404 和硬 404 的区别
硬 404 是服务器明确告诉你“这个地址没有内容”，抓取工具收到后会把该 URL 从待抓队列里逐步清理。软 404 则相反：状态码正常、HTTP 头正常，只有正文里没有实质内容。判断的关键不在状态码，而在于这个 URL 对用户是否还有有效信息。
- 硬 404 / 410：服务器返回明确的不存在信号，处理干脆。
- 软 404：返回 200，但正文为空、只有导航和页脚，或直接显示错误提示。
- 还有一种中间情况：页面需要登录或触发验证才能看到正文，抓取工具看到的是空白壳。
常见的软 404 场景
- 筛选和排序组合：筛选出零结果时，页面只显示“没有符合条件的商品”。
- 商品或内容下架：URL 保留，正文被清空，只剩模板。
- 过期活动页：活动结束后内容删除，页面还在。
- CMS 里被清空的条目：标题还在，正文和图片都没了。
- 空分类或空标签页：分类下没有内容时仍然可以访问。
- 站内搜索结果页：搜索无结果时自动生成的页面。
这些场景的共同点是：URL 由系统自动生成或历史遗留，页面本身没有独立价值，但入口链接还在，所以会被持续发现和抓取。
为什么它会拖累收录
搜索引擎处理页面时，会先抓取、再解析正文、最后判断是否值得进索引。软 404 卡在第二步和第三步之间：能抓，但内容不足以支撑索引。反复出现这类页面，会带来几个连锁影响。
- 抓取资源被消耗在无内容页面上，有效页面的更新可能被推迟发现。
- 站内链接指向空页面，用户点击后得不到结果，站内行为数据变差。
- 如果同一批模板页大量空置，同目录下真正有价值的页面也容易被一起低估。
需要说明的是，这不等于“页面数量多了就一定会被降权”。影响主要来自具体页面的内容质量和链接指向，需要按目录、按模板分别看，而不是笼统地删 URL。
怎么确认一个页面是不是软 404
- 关掉缓存、带上未登录状态打开页面，看看正文区域还剩多少有效文字。
- 对比同模板的正常页面，观察正文区的 HTML 结构是否被替换成了空容器。
- 在抓取日志里找这类 URL，看它是不是被反复抓取、返回 200 但抓取频次始终不下降。
- 把平台后台的索引状态和日志交叉核对：日志里抓了很多次，索引里却没有，通常说明内容判断没通过。
- 抽一批样本人工看一遍，不要只看状态码统计，状态码正常恰恰是这类问题的特征。
处理顺序建议
- 先定页面去留：这个 URL 以后还会有内容吗？会，就补内容；不会，就进入删除或合并流程。
- 能补内容的页面：补上有效正文，加上指向相关页面的内链，让它能被正常发现和评估。
- 确定不再使用的页面：返回 404 或 410；如果有高度相关的替代页面，用 301 指过去，一次性处理好，避免多级跳转。
- 有入口链接的页面：同时清理站内链接和 sitemap 里的记录，否则入口还在，抓取还会不断回来。
- robots 屏蔽放在最后：屏蔽之后抓取工具看不到页面内容，也就无法读到 noindex，索引里的旧记录可能长期留着。
软 404 的关键不是状态码，而是页面是否还有对用户有效的信息。处理时要先判断页面定位，再选择补内容、重定向还是返回 404，顺序反了容易反复。
软 404 往往不是单独出现的，而是某个模板批量产生的结果。排查时先定位模板，再抽样具体 URL，比逐个页面处理效率高得多。处理完之后隔一段时间再回看抓取日志，确认这些地址的抓取频次确实降下来了。