搜索蜘蛛判断一个地址，先看它返回什么，再看里面有什么。当服务器返回 200，页面却是“没有找到”“该内容已下架”“暂无结果”时，这个地址在蜘蛛眼里就是一个正常页面，但用户点进去什么也得不到。这类页面通常被称为软 404。
软 404 为什么容易被收录
它并不需要被专门提交，往往是自己长出来的。常见来源包括：
- 站内搜索、筛选、排序生成的大量空结果页，URL 结构正常，模板完整；
- 已下架的商品、已删除的文章，页面还在，只是主体内容换成了提示语；
- 分页翻到超出范围的页码，返回 200 但列表为空；
- 旧版页面改版后没有做跳转，只留下一个空壳。
这些页面往往有标题、有导航、有页脚，看起来和正常页面差不多，蜘蛛顺着内链或 sitemap 走过来，很容易抓取并进入索引。
先核对三件事，再动手
- 状态码：用命令行或抓取工具看真实返回头。页面显示“不存在”不代表状态码就是 404。
- 页面主体：去掉导航、页脚、推荐位之后，正文区域是否还有实质信息。只有一句提示的，基本可以判定为软 404。
- 入口来源：这个地址从哪来。是内链、sitemap，还是站内搜索自己生成的。不切断入口，处理完还会再出现。
处理方式按是否有替代内容来选
- 有更合适的替代页，比如商品换型号、文章换栏目：做 301，指向最接近的有效页面。
- 内容彻底没有了，也没有替代：直接返回 404 或 410。410 语义更明确，但不是必须。
- 页面仍需保留，只是不想被索引：加 noindex。注意不要再同时指向一个不存在的 canonical，两者冲突时容易让蜘蛛反复确认。
顺序上建议先改状态码，再清内链，最后看 sitemap。状态码改了但内链还挂着，蜘蛛会一直来确认，等于白改。
内链和 sitemap 要同步清理
检查方法
sitemap 里保留已失效地址，会持续把蜘蛛引向空页面。内链中的死链接同理。处理完之后，最好用抓取工具重跑一遍站内链接，看看还有哪些页面在指向这些地址。批量改状态码时，也顺手导出一次带外链的旧地址清单，两者对照着清，不容易漏。
状态码、页面主体、入口指向，这三者要一致。只改其中一个，问题往往会在几周后重新出现。
不要一次性全站扫
软 404 往往成千上万，一次全改容易误伤正常页面，也不方便观察效果。可以按模板或栏目分批处理，改完一批后看抓取日志和索引状态的变化，再决定下一批的范围。
最后提醒一点：处理软 404 的目标是让索引里的地址更接近真实存在的有效页面，而不是追求某个数量。地址少了，但每个都能打开、都有内容，对站点更有利。