搭建蜘蛛池入口页时，很多人把注意力放在“怎么把链接放上去”，却很少回头检查“链接指向的页面还在不在”。当目标 URL 因为改版、下线、迁移而失效，入口页上那行链接就从资产变成了负担。这篇文章讲的是：失效链接会带来什么，什么时候该清，怎么清。
先分清几种“失效”
入口页本身可能返回 200，但点进去的目标 URL 状态各不相同，处理方式也不一样。
- 404：页面确实不存在。可能是临时删除，也可能是永久移除。
- 410：明确告知已永久删除，语义比 404 更确定。
- 软 404：状态码是 200，但内容为空或只有一句“页面不存在”。这种最容易被忽略。
- 301/302 到新地址：目标没死，只是换了位置。这时该做的是更新入口页链接，而不是删除。
- 503 或超时：多半是服务端临时问题，先别急着判定为死链。
死链留在入口页上，实际会发生什么
搜索蜘蛛顺着入口页的链接去抓，抓到的是无效页面。从抓取调度角度看，这些尝试仍然占用请求。入口页上死链比例越高，单次访问能有效带出的地址就越少。
- 抓取预算被无效目标消耗，正常目标 URL 的发现速度可能被拖慢。
- 入口页本身的抓取频次可能下降，因为历史数据显示这一页产出偏低。
- 如果死链大量指向同一域名，该域名在蜘蛛侧的抓取节奏也可能受到影响。
这里要注意，以上都是“可能”。搜索引擎没有公开的固定阈值，站点规模和历史表现不同，反应差别很大，不要把某个案例当成通例。
为什么有人选择暂时留着
清理不是无条件的。三种情况下可以先观察：
- 目标 URL 只是临时下线，预计几天内恢复。频繁删了又加，反而让入口页变动过大。
- 死链数量很少，比如几十条里只有一两条，对整体产出影响有限。
- 还没搞清楚失效原因，贸然删除可能掩盖真正的问题，例如服务器配置错误造成的假 404。
反过来说，如果某个入口页上一半以上的链接都失效了，这页基本没有继续维护的价值，删掉或整体重做更省事。
一个可执行的清理流程
- 批量抽查状态码。用脚本或工具定期跑一遍入口页上的目标 URL，记录状态码、响应时间和最终落地地址。
- 区分临时与永久。503、超时、连接重置的多跑几次再判断；404 和 410 可以直接标记。
- 能修的先修。如果目标换了地址，把入口页链接改成新地址；有规范地址的，优先指向它。
- 该删的删。确认永久失效的，从入口页 HTML 中移除，不要只做隐藏或用注释包起来。
- 记录变更。每次增删都留个时间点，方便后续对照日志里蜘蛛的访问变化。
别把“改地址”当成“死链”
很多所谓死链，其实是 301 链。如果目标 URL 永久迁移，正确做法是更新入口页链接，同时保留旧地址的 301 跳转一段时间。让蜘蛛顺着跳转走到新地址，比让它撞 404 更合适。
但跳转链不宜过长。入口页指向旧地址，旧地址再跳新地址，新地址又跳一次，这种多层跳转容易在中途丢失信号，也让抓取成本上升。尽量让入口页直接指向最终地址。
检查频率怎么定
没有统一标准。可以按目标 URL 的更新频率来定：经常变动的业务页，检查周期短一些；长期稳定的页面，一个月或一个季度过一遍就够。真正要紧的是把检查变成固定动作，而不是等到发现蜘蛛访问量掉了才回头查。
死链不会直接“惩罚”入口页，但它会让入口页的产出下降。清理死链的本质，是让每一次蜘蛛访问都尽可能落在有效地址上。