搭建蜘蛛池入口頁时，很多人把注意力放在“怎么把連結放上去”，却很少回头检查“連結指向的頁面還在不在”。当目标 URL 因為改版、下线、迁移而失效，入口頁上那行連結就從资产變成了负担。這篇文章讲的是：失效連結會带来什么，什么时候该清，怎么清。
先分清几種“失效”
入口頁本身可能返回 200，但点進去的目标 URL 狀態各不相同，處理方式也不一样。
- 404：頁面确實不存在。可能是临时刪除，也可能是永久移除。
- 410：明确告知已永久刪除，语义比 404 更确定。
- 软 404：狀態碼是 200，但内容為空或只有一句“頁面不存在”。這種最容易被忽略。
- 301/302 到新地址：目标没死，只是換了位置。這时该做的是更新入口頁連結，而不是刪除。
- 503 或超时：多半是服務端临时問题，先別急着判定為死鏈。
死鏈留在入口頁上，實际會發生什么
搜尋蜘蛛顺着入口頁的連結去抓，抓到的是無效頁面。從抓取調度角度看，這些尝试仍然占用請求。入口頁上死鏈比例越高，單次訪問能有效带出的地址就越少。
- 抓取预算被無效目标消耗，正常目标 URL 的發現速度可能被拖慢。
- 入口頁本身的抓取频次可能下降，因為歷史資料顯示這一頁产出偏低。
- 如果死鏈大量指向同一域名，该域名在蜘蛛侧的抓取节奏也可能受到影响。
這里要注意，以上都是“可能”。搜尋引擎没有公開的固定阈值，站点規模和歷史表現不同，反應差別很大，不要把某個案例当成通例。
為什么有人選擇暂时留着
清理不是無條件的。三種情况下可以先观察：
- 目标 URL 只是临时下线，预計几天内恢复。频繁删了又加，反而让入口頁變動過大。
- 死鏈數量很少，比如几十條里只有一两條，對整体产出影响有限。
- 還没搞清楚失效原因，贸然刪除可能掩盖真正的問题，例如服務器配置错誤造成的假 404。
反過来说，如果某個入口頁上一半以上的連結都失效了，這頁基本没有繼續维護的價值，删掉或整体重做更省事。
一個可执行的清理流程
- 批量抽查狀態碼。用脚本或工具定期跑一遍入口頁上的目标 URL，记錄狀態碼、响應時間和最终落地地址。
- 区分临时與永久。503、超时、连接重置的多跑几次再判断；404 和 410 可以直接标记。
- 能修的先修。如果目标換了地址，把入口頁連結改成新地址；有規范地址的，優先指向它。
- 该删的删。確認永久失效的，從入口頁 HTML 中移除，不要只做隐藏或用注释包起来。
- 记錄變更。每次增删都留個時間点，方便後續對照日誌里蜘蛛的訪問變化。
別把“改地址”当成“死鏈”
很多所谓死鏈，其實是 301 鏈。如果目标 URL 永久迁移，正确做法是更新入口頁連結，同时保留舊地址的 301 跳轉一段時間。让蜘蛛顺着跳轉走到新地址，比让它撞 404 更合适。
但跳轉鏈不宜過長。入口頁指向舊地址，舊地址再跳新地址，新地址又跳一次，這種多层跳轉容易在中途丢失信号，也让抓取成本上升。尽量让入口頁直接指向最终地址。
检查频率怎么定
没有统一标准。可以按目标 URL 的更新频率来定：经常變動的业務頁，检查周期短一些；長期稳定的頁面，一個月或一個季度過一遍就够。真正要紧的是把检查變成固定動作，而不是等到發現蜘蛛訪問量掉了才回头查。
死鏈不會直接“惩罚”入口頁，但它會让入口頁的产出下降。清理死鏈的本质，是让每一次蜘蛛訪問都尽可能落在有效地址上。