在排查蜘蛛池入口页时，很多人先看状态码。只要返回 200，就觉得“页面正常，搜索蜘蛛应该会抓”。但实际抓取中，还有一种更隐蔽的情况：HTTP 状态码是 200，页面却几乎是空的，或者只有模板框架、没有有效链接和文字。这类页面通常被称为软 404。
软 404 为什么容易出现在入口页
入口页往往由程序批量生成，依赖数据库、缓存或模板变量。只要其中一个环节为空，页面就可能被“正常”输出：
- 数据库查询没有结果，页面仍然渲染出标题和页脚；
- 缓存过期后返回了空壳 HTML，状态码仍是 200；
- 链接由 JavaScript 插入，但脚本报错或接口超时，搜索蜘蛛拿到的是空容器；
- WAF 或反爬策略拦截了搜索蜘蛛，却返回 200 加验证页。
对访问者来说，这些页面看起来像故障；对搜索蜘蛛来说，它们仍然是可抓取的 URL，只是没有值得解析的内容。
搜索蜘蛛遇到软 404 时，通常会发生什么
不同搜索引擎的处理细节不完全一样，但常见表现有几类：
- 不继续解析链接：页面里没有有效链接，目标 URL 自然无法通过这一页被发现。
- 降低抓取频次：如果同一批入口页长期返回空内容，搜索蜘蛛可能减少对这批 URL 的访问。
- 从索引中移除：已经收录的空壳页可能被判定为低质量页面，逐渐不再展示。
- 浪费抓取预算：搜索蜘蛛把时间花在空页上，真正需要被抓取的目标 URL 就会排队更久。
这里要区分一点：搜索蜘蛛仍然可能抓取入口页，只是抓取之后没有获得有效信号。所以“状态码 200”不等于“抓取有效”。
怎么判断入口页是不是软 404
不要只看状态码。可以按下面几步查：
- 用命令行工具请求入口页，观察返回体大小。正常入口页和空壳页的体积往往差很多。
- 查看渲染后的 HTML，而不是只看源代码。如果链接是 JS 插入的，需要确认执行脚本后是否真的有链接。
- 对比同一批入口页：如果只有少数页面体积异常小，优先怀疑数据源或模板。
- 检查服务器日志中的响应字节数。状态码 200 但字节数很低，是软 404 的常见信号。
- 排查 WAF 日志，确认搜索蜘蛛是否被拦截后返回了自定义页面。
状态码是给抓取器看的，内容才是给抓取器判断的。两者不一致时，问题通常出在程序输出环节。
修复顺序：先让状态码说真话，再补内容
如果入口页确实没有内容，不建议长期用 200 空页硬撑。更合理的顺序是：
- 返回正确的状态码：无对应内容时返回 404 或 410，让搜索蜘蛛明确知道这一页不存在。注意，不要把所有入口页都改成 404，只处理真正空壳的 URL。
- 补上有效内容：如果入口页还需要承担链接发现的作用，就确保页面里有可抓取的链接和基本说明文字，不要只放一个空 div。
- 处理反爬误伤：确认搜索蜘蛛的 User-Agent 和 IP 没有被误拦。如果必须拦截，也要返回明确状态，而不是 200 验证页。
- 考虑 noindex：入口页本身通常不需要被收录。如果页面有内容但不想进索引，可以用 noindex，但要注意 noindex 不等于 nofollow，链接仍可能被抓取。具体策略要结合站点实际。
- 监控响应体大小：把入口页的字节数纳入日常巡检，比只看状态码更早发现问题。
和抓取预算的关系
蜘蛛池的入口页数量通常不少。如果其中一部分长期是软 404，搜索蜘蛛仍然会消耗抓取配额去访问它们，但拿不到新 URL。结果就是：入口页看似“活着”，目标 URL 的发现效率却在下滑。
所以，软 404 不是单纯的技术报错，它会影响 URL 发现的整体节奏。定期抽样检查入口页的响应体、渲染后内容和链接数量，比一次性加大量入口页更有意义。
最后提醒：不要为了绕过软 404 而把空页面强行填充关键词或隐藏链接。搜索蜘蛛对空壳页和低质量页的判断越来越细，短期看似恢复了 200，长期仍然可能降低抓取意愿。把状态码、内容和链接都做成真实可解析的状态，才是更稳的做法。