站点里出现 404 是常态，尤其是改版、下架商品、合并栏目之后。真正影响蜘蛛抓取的，不是“有没有 404”，而是这些 404 落在抓取路径的哪个位置、蜘蛛还要在这条路上走多少次。
蜘蛛遇到 404 时会做什么
蜘蛛请求一个 URL 拿到 404，它会记录这次结果，一般不会因此放弃整个站点。但如果同一个目录、同一段内链反复指向已经不存在的页面，这条路径在后续抓取里被回访的优先级通常会下降。换句话说，404 本身不是致命问题，让蜘蛛沿着内链反复撞墙才是。
硬 404、软 404 和 410 的区别
- 硬 404：URL 确实不存在，服务器返回 404 状态码，这是最干净的处理方式。
- 软 404：状态码是 200，但页面写着“内容已删除”，或者只剩一个空模板。蜘蛛会把它当成正常页面继续抓，等于用一个空壳占着抓取额度。
- 410：明确告诉蜘蛛这个地址已经永久移除。对确定不再恢复的内容，410 比 404 更直接，但同样要避免大量 410 长期挂在内链里。
三类里最需要处理的是软 404。它不会出现在服务器的 404 统计里，只能靠页面内容抽查，或者从日志里高频出现的低质页面去发现。
内链里的死链要优先修
外链指向的 404 你控制不了，但站内内链是你自己的抓取路径。首页、栏目页、分页模板、相关推荐模块里如果挂着死链，蜘蛛每走一次这条路径就撞一次，成本会累积。
- 首页和一级栏目里的死链，影响范围最大，先修。
- 被抓取频率最高的模板页，比如列表页和详情页底部的推荐位，逐个检查是否还有失效链接。
- Sitemap 里仍在列出的 URL，如果页面已经不存在，要么从地图里移除，要么改成 301。
该 301 还是保留 404
判断标准可以简单一点：这个旧 URL 有没有一个语义等价的替代页面。
- 有等价内容：301 到最接近的那一篇，不要统一跳到首页。
- 没有等价内容：保留 404，并在页面上给出返回栏目和首页的链接。
- 内容完全不相关：不要为了“减少 404”把大批失效 URL 全部 301 到首页。这种全站跳首页的做法很容易被识别为软 404，原来那条路径的信息也丢了。
301 是搬家的路标，不是垃圾桶。把所有旧地址都倒进首页，蜘蛛拿到的只是一个没有信息的终点。
404 页面本身也要给出路
失效的 URL 可能仍有外部链接或用户收藏，蜘蛛也会因为旧外链再次访问。404 页面除了返回正确的状态码，还应该带上返回栏目、首页和站内搜索的入口，让落在这一页的蜘蛛还有下一层可以走，而不是停在死胡同里。
怎么确认死链还在被反复抓
- 从服务器日志里筛选状态码为 404 和 410 的请求，只保留蜘蛛 UA 的记录。
- 按命中次数排序，命中高的说明这条路径还在被反复走。
- 逐个对照来源：是内链残留、Sitemap 未更新，还是外部旧链接。
- 分批修改，改完再观察一段时间的日志，不要一次性替换大量 URL。
不必追求死链清零
站点规模上去以后，少量 404 是正常现象，也不值得为几个低频死链反复折腾。把精力放在被抓取频率高、位于主干路径上的死链上，收益通常比全站扫一遍更大。真正要避免的是两种情况：主干路径直接指向 404，以及大量软 404 长期占用抓取额度。