软 404 指的是页面返回 200 状态码，但内容为空、模板残缺、只显示一句错误提示，或者没有有效出链。对用户来说它像坏页面，对蜘蛛来说它却是一个“正常可抓取”的 URL。蜘蛛会继续沿着内链或 Sitemap 进入，抓完才发现没有可用信息，于是抓取路径在这里多了一次无效访问。
蜘蛛进入软 404 时看到什么
蜘蛛不会因为页面长得空就立刻判定它不存在。它先看 HTTP 状态码，再看正文、标题、结构化数据和出链。如果返回 200，蜘蛛会把它当作有效页面处理，可能缓存、分析，甚至等待它下次更新。
- 正文长度接近零，或者只有登录、筛选、加载中的提示。
- 页面标题和描述重复，多个 URL 看起来像同一个空壳。
- 出链很少，蜘蛛找不到继续向前的路径。
- 同一模板生成大量空页面，URL 结构不同但内容相同。
这和硬 404 不同。硬 404 会让蜘蛛较快放弃这个地址，软 404 则可能被反复回访，因为它一直返回成功状态。
软 404 常从哪些内链位置出现
软 404 往往不是单独出现的，它和内链结构、URL 生成方式有关。下面几类位置比较常见。
- 筛选与排序参数：参数组合没有结果时，页面仍返回 200，并显示空列表。
- 已下架商品或过期活动：详情页还在，内容被清空，但模板继续输出。
- 分页越界：翻到没有数据的页码，页面不报 404，只显示“暂无内容”。
- 用户中心或搜索页：未登录、无结果、无权限时仍以 200 返回空壳。
- 改版残留：旧模板被替换后，部分路径没有正确返回 404 或 410。
判断软 404 不能只看页面是否报错，还要看它是否值得被蜘蛛放进抓取队列。返回 200 但没有任何有效信息的 URL，会持续消耗抓取机会。
它对 URL 发现和抓取预算的影响
URL 发现依赖链接、Sitemap 和蜘蛛已有记录。当空页面大量存在时，蜘蛛会沿着内链不断发现它们，却带不回新内容。抓取预算被分到这些 URL 上，真正需要更新的页面反而可能等更久。
更麻烦的是，软 404 常常成批出现。一个筛选参数可以生成几十个空结果页，一个分页规则可以生成大量越界地址。蜘蛛会把这些 URL 当作站点结构的一部分，抓取路径因此变长。
从服务器和内链两侧处理
服务器端先明确状态码
- 确认页面确实没有内容时，返回 404 或 410，而不是继续用 200 输出空模板。
- 对临时无结果的筛选页，考虑返回 200 但加 noindex，或者直接阻止无意义参数组合被链接。
- 分页越界统一返回 404，不要用空列表页承接。
- 检查反爬和限速配置，避免因服务器压力误伤正常抓取，让蜘蛛把超时误判成内容缺失。
内链与 Sitemap 减少空 URL 入口
- 列表页只链接有内容的详情页，空结果不生成可抓取链接。
- 筛选参数用 robots.txt 或页面级规则控制，避免蜘蛛进入组合爆炸。
- Sitemap 只放有实质内容、需要被发现的 URL，不要混入空壳页。
- 站点地图页和频道页定期清理失效入口，保持抓取路径干净。
怎么验证处理是否有效
处理之后不要只看一次抓取日志。可以观察一段时间内这些 URL 的状态码是否变化，蜘蛛访问频率是否下降，有效页面的抓取量是否回升。如果服务器日志里同一空模板仍被大量抓取，说明内链或 Sitemap 里还有入口没有清掉。
软 404 不是单一页面问题，而是抓取路径上的结构问题。把空页面从“可抓取”变成“明确不存在”，蜘蛛才能把时间放到真正需要发现的 URL 上。