404 页面常被当成“出事了才看”的东西，其实它是站点结构的一部分：它告诉访客“这条路走不通，可以往哪走”，也告诉搜索引擎“这个地址确实没有内容”。如果状态码用错、错误页做成空壳，或者大量本该不存在的地址返回 200，蜘蛛会把时间和抓取配额花在空页上，用户的体验也会断在最后一步。

先分清几种“错误状态”

• 404 Not Found：地址不存在。适合内容已经删除、且没有合适替代页的情况。
• 410 Gone：曾经存在、现在永久移除，信号更明确，但不必强求，用 404 也可以。
• 软 404：地址确实没内容，却返回 200，页面显示“暂无内容”“没有找到结果”。这是最容易被忽视的一类。
• 5xx：服务器出错。它和 404 完全是两回事，别让数据库超时或程序异常被当成“页面不存在”处理。

软 404 的常见来源

软 404 通常不是配置错误，而是模板逻辑的自然结果：

• 筛选、搜索、标签组合后没有结果，模板仍然渲染成正常页面；
• 商品下架、文章撤回后只清空正文，页面骨架照旧输出；
• 栏目清空或迁移后，列表页还在，只是长期没有新条目；
• 分页超出范围，模板把空页继续返回 200。

这些地址一旦被蜘蛛抓到，可能被当成空内容页面处理。与其靠“以后再说”，不如在模板层判断：没有有效内容时，直接返回 404，或跳转到上一级栏目。

一次可落地的自查清单

1. 从访问日志里拉出被请求最多、返回 404 的地址，按频次排序，先看前 50 条。
2. 判断这些 404 是内链指过去的，还是外部与历史遗留的。内链造成的死链要优先修，因为蜘蛛每次爬取都会撞一次。
3. 确认错误页返回的状态码真的是 404，而不是 200，也不是 302 跳到首页。
4. 确认错误页里有导航、搜索框和几个相关栏目入口，让人和蜘蛛都能继续往下走。
5. 检查 Sitemap 和站内链接里是否还留着已经删除的地址。
6. 抽查筛选页、搜索页、空列表页、超范围分页，看它们各自返回什么状态码。
7. 用抓取报告里的“页面未找到”列表做交叉验证，看两边记录是否对得上。

处理原则：能修的修，修不了的说明白

有强替代内容的旧地址，用 301 指到最相关的新地址；只是为了把流量收回首页而做整站跳转，容易让蜘蛛把首页当成万能落点，价值反而被稀释。真正没有替代的地址，就让它干净地 404；已经确定永久下线的，可以用 410。错误页本身不必花哨，但要有品牌标识、返回入口和搜索入口。

判断标准很简单：用户从这个页面能自己走回去，蜘蛛从这个页面能理解“这里没有内容”，这个 404 就算合格。

几件容易漏掉的事

• 404 页面本身不要放进 Sitemap，也不要在 robots.txt 里整段屏蔽，否则蜘蛛看不到真实状态码。
• 移动端和桌面端用同一套错误处理逻辑，别一边 404 一边 200。
• 站点改版、栏目下线、批量删稿之后，隔几天再看一次日志，确认新的死链没有继续产生。
• 把 404 数量当成常规监控指标，突增往往意味着内链、模板或数据发生了变动。

404 不是需要藏起来的失误，而是站点结构里正常的出口。把它做对，损失的是一次无效点击，留下的是清晰的层级和可预期的抓取。