蜘蛛进站时先看到的不是正文，而是 HTTP 状态码。一批早就没有内容的地址如果仍然返回 200，蜘蛛就会把这些空壳当作有效页面带走。时间一长，被抓取的清单里混进大量无价值地址，真正需要被发现的页面反而要排更久的队。
软 404 到底指什么
简单说，就是地址能打开、状态码是 200，但页面上并没有跟这个地址对应的实质内容。它和真正的 404 最大的区别在于：真正的 404 是明确告诉对方“这里没有东西”，软 404 则是含糊地说“有，但你自己看看吧”。对访客来说是一头雾水，对蜘蛛来说是一次无效抓取。
常见的那几类场景
- 内容已经下架，地址却保留着，页面只剩一句“内容已删除”或干脆空白。
- 栏目、分类、标签被清空后，模板照常渲染，页面上只有标题和导航。
- 站内搜索或筛选参数拼出来的地址，没有匹配结果也照样返回 200。
- 改版迁移时跳转规则漏配，请求落到首页，但状态码不是 301 而是 200。
- 程序异常被包装成正常页面，报错文本被当成正文输出。
怎么把这类地址筛出来
- 先从服务器日志入手，按响应状态码分组，重点看返回 200 但访问量偏低的那些地址，抽样打开确认内容是否与地址匹配。
- 翻站长平台里的抓取与索引样本，留意标题高度重复、正文极短的地址，这类往往是模板批量生成的空页面。
- 把站点地图里的地址分批过一遍，标签页、归档页、筛选页是重灾区，尤其要看有没有内容为空的分页。
- 统计页面正文长度，设一个自己站点的经验阈值，低于这个值的页面优先人工确认，而不是直接删掉。
这一步不需要一次性做完，按栏目分批推进更实际，改完一批、观察一批。
筛出来之后怎么分类处理
确实没有对应内容
让它老老实实返回 404，长期不会再出现的可以用 410。不要用一个设计精美的“找不到页面”配上 200 状态码，那只是把软 404 做得更好看了一点。
内容搬到了新地址
用 301 指向最相关的那一篇或那个栏目。多个旧地址对应同一篇内容时，也可以考虑合并到同一个目标地址，避免同主题散在几个入口。
参数组合或筛选结果页
这类页面本身有存在价值，但无穷组合没有。可以先判断有没有真实搜索需求：有需求的保留，用规范化标签或 robots 规则约束，没需求的直接返回 404。注意别把规则的匹配范围写得过宽，误伤了正常栏目页。
把所有失效地址统一跳首页是最省事也最误导的做法：访客找不到想要的内容，蜘蛛也读不出哪个页面才是替代品。跳转到最相关的那一页，才对得起这次请求。
改完之后的复查节奏
- 一周后回看日志里的状态码分布，确认原本的 200 空页面已经变成 404 或 301。
- 把改动过的地址整理成一张对照表，标清楚原地址、处理方式、目标地址，下次改版还能接着用。
- 观察一段时间内被抓取的地址总量和有效页面占比，判断这次清理有没有让抓取落在更有价值的地方。
- 如果发现新的空页面还在持续产生，回到模板层面找原因，别每次都靠事后清理。
软 404 不会让站点立刻出问题，它更像一种慢性损耗：每次抓取都花在空页面上一点，日积月累才显出差距。把它当成一次例行的结构巡检，比等到抓取数据不对劲时再回头翻日志要轻松得多。