抓取工具访问一个 URL，拿到了 200 状态码，按定义这是一次成功的抓取。但如果页面主体是空的、只剩导航和页脚，或者只写着一句“没有找到相关内容”，搜索引擎在收录判断时很可能把它当成软 404 处理——抓取成功，但不值得放进索引。
软 404 是抓取成功、内容为空的一种结果
真正的 404 是服务器明确告诉抓取工具“这个地址没有资源”。软 404 则是服务器返回了正常状态码，内容层面却无法交付。从抓取日志上看，它不会显示成错误；只有把状态码和页面内容放在一起看，才看得出问题。
它和“页面质量偏低”不完全是同一回事。薄内容至少有内容，只是信息量少；软 404 更接近“这个地址本质上没有可索引的东西”。两者的处理思路也不一样。
常见的几种形态
- 站内搜索结果页，尤其是查询词冷门、结果列表为空的那一类。
- 商品或内容已下架，模板还在，页面只剩一句“该商品已下架”。
- 筛选、排序组合出来的空结果，比如同时选了互斥条件。
- 列表分页翻到了超出范围的页码。
- 活动结束后页面被清空，但 URL 继续返回 200。
- 需要登录或权限才能看到正文，未登录访问时页面只剩框架。
- 程序异常时把错误提示直接以 200 返回。
为什么它会影响收录
第一，它会占走抓取额度。站点被抓取的总量有限，大量空页面被反复抓取，真正需要更新的页面就可能排在后面。
第二，它会影响对站点整体质量的判断。同一类空页面成批出现时，容易被归为低价值模板，连带着正常的同类页面也可能受到牵连。
第三，已经进过索引的空页面，会在内容清空后被移出，索引量出现波动，容易让人误以为是“掉收录”。
怎么定位这些页面
- 按模板分组。商品页、搜索页、筛选页、分页各取一组样本，不要一页一页看。
- 核对状态码和可见正文。把“200 且正文极短”的组合单独挑出来，并区分“正文短但有信息”和“只有模板文字”。
- 回看站点抓取日志。哪些空页面被抓得频繁，说明抓取工具还在把它们当正常页面处理。
- 对照正常的同类页面，确认差异出现在内容层还是模板层，这决定了后面是改逻辑还是改配置。
不要为了让空页面“有内容”而硬塞无关文字。一个明确返回 404 的下架页面，比一个只剩两百字废话的 200 页面更干净。
处理方式按页面类型来定
- 确定不会再有的内容：返回 404 或 410，比继续返回 200 更清楚。
- 暂时缺货或维护中：保留页面上仍然有效的信息，加上状态说明；如果短期恢复不了，可以考虑先 noindex，恢复后再放开。
- 空结果筛选页与搜索页：用 noindex 挡住即可，通常不必返回错误码，因为它们对用户仍是可用的交互页。
- 登录后才可见的内容：先想清楚这类页面是否需要出现在搜索结果里。需要，就提供可抓取的摘要；不需要，就明确屏蔽。
软 404 的麻烦在于它不报错。抓取层面看不出异常，只有把状态码、可见正文和模板特征放在一起核对，才能发现这类“抓得到却收不进”的页面。排查时先按模板取样，比全站铺开更省时间。