做蜘蛛池入口頁时，一個很常见的情况是：頁面里放了十几條到几十條目标連結，其中夹杂着已经失效的地址。有人担心一條死鏈會不會把整頁“带坏”，導致搜尋蜘蛛不再抓其它連結。這個担心可以理解，但结论需要拆開来看。
先给结论：一般不會连坐，但會間接拖慢
搜尋蜘蛛解析入口頁时，是把頁面里的每個連結当成獨立 URL 来處理和調度的。某一條連結返回 404，只會影响那一個地址的判断，並不會因為它存在，就让同頁其它連結也被放弃。只要其它目标 URL 本身可訪問、返回正常狀態碼，它們依然會被正常排队抓取。
不過，“不连坐”不等于“没影响”。死鏈真正消耗的是抓取预算和頁面质量评估，這两件事會間接影响其它目标 URL 被發現的节奏。
死鏈带来的三個間接影响
1. 占用抓取配額
每一次抓取請求都要花掉一次配額。死鏈同样會被請求、被记錄，尤其是返回 5xx 的地址，搜尋蜘蛛往往會安排重试。重试次數多了，本来可以分给其它目标 URL 的抓取机會就被占用了，表現就是“入口頁被抓了很多次，但目标 URL 迟迟没動静”。
2. 5xx 比 404 更麻烦
- 404 / 410：明确告诉蜘蛛该地址已不存在，蜘蛛通常較快停止跟進，影响相對可控。
- 500 / 502 / 503：代表服務器侧異常，蜘蛛會認為站点不稳定，可能降低對整個主机或目錄的抓取频率，重试也更频繁。
- 200 的软 404：返回正常狀態碼却顯示“頁面不存在”，既浪費抓取，也模糊了頁面的真實狀態，最容易被誤判。
3. 影响入口頁的质量判断
入口頁本身如果死鏈比例偏高，會被当成维護不善的頁面。虽然這不必然導致其它連結不被抓，但會让這個頁面在整体评估里處于不利位置，鏈出連結的传递效率、後續回訪频率都可能打折扣。
怎么判断問题出在死鏈上
與其猜测，不如看資料：
- 查看抓取日誌里入口頁的狀態碼分布，統計 404、5xx 各自占比。
- 對比同一入口頁上有效連結和死鏈的抓取時間差，看死鏈是否被反复重试。
- 检查死鏈是永久失效還是临时故障，临时故障修好後，重试压力會自然回落。
- 確認目标 URL 是否真的被請求過，而不只是入口頁被反复抓取。
如果日誌顯示入口頁抓取频率正常、但目标 URL 完全没有請求记錄，那問题更可能出在連結本身的可發現性（例如被脚本包裹、被隐藏），而不是死鏈。
處理建议
- 让死鏈返回正确狀態碼：确實不存在的用 404 或 410，不要用 302 跳首頁或返回 200 软 404。
- 及时清理或替換：入口頁里的目标連結定期巡检，失效的直接移除或改成有效地址。
- 優先修 5xx：服務器異常是爬虫降频的主要原因，比 404 更值得優先處理。
- 控制死鏈比例：入口頁連結本来就有限，別让無效地址占掉太多位置。
- 不要用死鏈当占位：有人為了凑連結數量放無效地址，這只會消耗抓取资源，没有實际收益。
抓取预算是有上限的，把它花在有效目标 URL 上，比花在死鏈的重试上更划算。
小结
一條死鏈不會让同頁其它連結“陪葬”，但成片的死鏈，尤其是 5xx 和软 404，會實實在在拖慢抓取节奏、影响入口頁自身的评估。把死鏈当作需要日常维護的對象来處理，入口頁的抓取效率通常會稳定一些。