做蜘蛛池入口页时，一个很常见的情况是：页面里放了十几条到几十条目标链接，其中夹杂着已经失效的地址。有人担心一条死链会不会把整页“带坏”，导致搜索蜘蛛不再抓其它链接。这个担心可以理解，但结论需要拆开来看。
先给结论：一般不会连坐，但会间接拖慢
搜索蜘蛛解析入口页时，是把页面里的每个链接当成独立 URL 来处理和调度的。某一条链接返回 404，只会影响那一个地址的判断，并不会因为它存在，就让同页其它链接也被放弃。只要其它目标 URL 本身可访问、返回正常状态码，它们依然会被正常排队抓取。
不过，“不连坐”不等于“没影响”。死链真正消耗的是抓取预算和页面质量评估，这两件事会间接影响其它目标 URL 被发现的节奏。
死链带来的三个间接影响
1. 占用抓取配额
每一次抓取请求都要花掉一次配额。死链同样会被请求、被记录，尤其是返回 5xx 的地址，搜索蜘蛛往往会安排重试。重试次数多了，本来可以分给其它目标 URL 的抓取机会就被占用了，表现就是“入口页被抓了很多次，但目标 URL 迟迟没动静”。
2. 5xx 比 404 更麻烦
- 404 / 410：明确告诉蜘蛛该地址已不存在，蜘蛛通常较快停止跟进，影响相对可控。
- 500 / 502 / 503：代表服务器侧异常，蜘蛛会认为站点不稳定，可能降低对整个主机或目录的抓取频率，重试也更频繁。
- 200 的软 404：返回正常状态码却显示“页面不存在”，既浪费抓取，也模糊了页面的真实状态，最容易被误判。
3. 影响入口页的质量判断
入口页本身如果死链比例偏高，会被当成维护不善的页面。虽然这不必然导致其它链接不被抓，但会让这个页面在整体评估里处于不利位置，链出链接的传递效率、后续回访频率都可能打折扣。
怎么判断问题出在死链上
与其猜测，不如看数据：
- 查看抓取日志里入口页的状态码分布，统计 404、5xx 各自占比。
- 对比同一入口页上有效链接和死链的抓取时间差，看死链是否被反复重试。
- 检查死链是永久失效还是临时故障，临时故障修好后，重试压力会自然回落。
- 确认目标 URL 是否真的被请求过，而不只是入口页被反复抓取。
如果日志显示入口页抓取频率正常、但目标 URL 完全没有请求记录，那问题更可能出在链接本身的可发现性（例如被脚本包裹、被隐藏），而不是死链。
处理建议
- 让死链返回正确状态码：确实不存在的用 404 或 410，不要用 302 跳首页或返回 200 软 404。
- 及时清理或替换：入口页里的目标链接定期巡检，失效的直接移除或改成有效地址。
- 优先修 5xx：服务器异常是爬虫降频的主要原因，比 404 更值得优先处理。
- 控制死链比例：入口页链接本来就有限，别让无效地址占掉太多位置。
- 不要用死链当占位：有人为了凑链接数量放无效地址，这只会消耗抓取资源，没有实际收益。
抓取预算是有上限的，把它花在有效目标 URL 上，比花在死链的重试上更划算。
小结
一条死链不会让同页其它链接“陪葬”，但成片的死链，尤其是 5xx 和软 404，会实实在在拖慢抓取节奏、影响入口页自身的评估。把死链当作需要日常维护的对象来处理，入口页的抓取效率通常会稳定一些。