为什么死链的影响不只是“少了一个页面”

蜘蛛池里的入口页，本质上是给蜘蛛提供持续可访问的落脚点。一旦某个入口页返回错误状态，蜘蛛这一次抓取就白跑一趟，后续再来的频率通常也会下降。更麻烦的是入口页之间往往有互链，一个死链会让蜘蛛沿着链接多跳几次才确认这里没有内容，这部分损耗会摊到同一批入口页的抓取预算上。

先把四种情况分开

1. 明确的 404 与 410

服务器返回 404 或 410，蜘蛛能直接判断页面不存在。这类问题最干净，处理方式也最简单：能恢复就恢复，不能恢复就从入口页池里撤掉，不要让它继续挂着。

2. 跳向失效地址的 301 与 302

入口页本身返回 301，但目标地址是 404，蜘蛛会跟着跳一次然后拿到错误。这种链路会消耗额外的抓取次数，还容易在日志里被误判成“正常跳转”。检查时要顺着 Location 头一路验证到最终地址，而不是只看第一跳。

3. 软 404

状态码是 200，内容却是“页面不存在”“内容已删除”之类的提示，或者干脆是空白模板。蜘蛛看到状态码正常，会把这次抓取当成有效访问，但页面对它没有价值，等于用正常成本换了一次无效抓取。

4. 200 但内容残缺

页面能打开，正文却为空，或者关键内容依赖前端异步渲染而没被拿到。这类页面比软 404 更隐蔽，需要结合响应体大小和实际抓取结果来判断，不能只看状态码。

定位问题的几个入手点

• 服务器访问日志：筛出返回 4xx、5xx 的请求，看是否集中在某一批入口页或某一台服务器上。
• 状态码和内容一起看：不要只看 200，抽查响应体明显偏小的页面。
• 跳转链长度：从入口页到最终地址尽量不超过一跳，链越长越容易在中间断开。
• 站内互链：如果有入口页链接到已下线的地址，蜘蛛会顺着爬过去，相当于主动给它留了一个死链入口。

处理顺序建议

1. 先切断传播路径：把指向失效地址的互链去掉或改成可访问地址，避免蜘蛛继续被引导过去。
2. 再判断保留价值：有过抓取记录、有外链支撑的入口页优先恢复，长期无人访问的直接替换。
3. 替换时保持结构一致：新入口页的路径深度、栏目位置尽量和原来接近，减少蜘蛛重新适应的成本。
4. 最后做批量清理：确认无用的地址统一返回 404 或 410，不要用返回 200 的提示页占位。
5. 清理后观察一段时间日志，确认新入口页开始被访问，再决定是否扩大替换范围。

替换入口页时的注意点

• 一次别换太多：同一批入口页成片替换，容易被当成站点异常，访问频率会明显下滑。
• 新旧地址不要长期共存：同一内容保留两个地址，容易出现重复页面，也不利于判断哪个地址在起作用。
• 替换后补一条入口：新页面至少要有一条来自其他入口页或外部链接的路径，孤立页面被发现的概率很低。
• 跳转只用于必要场景：真正做内容迁移时才用 301，纯粹为了“留个地址”的跳转没有意义，还会拉长抓取链路。

死链处理的目标不是让页面看起来正常，而是让蜘蛛每次访问都能拿到有效内容。返回错误状态并不可怕，可怕的是用 200 把错误藏起来。

哪些入口页可以直接放弃

长期没有抓取记录、没有外链、域名或 IP 本身也不稳定的入口页，修起来的成本往往高于重新做一个。判断可以简单一点：连续几周日志里都没有蜘蛛访问，或者每次访问都伴随错误状态，就可以列入淘汰名单。与其耗时间修复，不如把资源放到稳定运行的那部分入口页上。