入口页里放了几十条甚至上百条链接，其中有几条是死链，这是很常见的情况。很多站长担心：一个 404 会不会让搜索蜘蛛对整个入口页失去兴趣，连带同页那些正常的目标 URL 也不抓了。下面把这个问题拆开讲。
结论先说：单个死链通常不会拖累同页其他链接
搜索蜘蛛的抓取单位是单个 URL，不是整个页面。它在解析入口页 HTML 时，会逐个提取 href，然后分别排入抓取队列。某个 URL 返回 404，只是这一条记录被标记为无效，不会让爬虫把整个页面拉黑。同页其他正常链接，仍然会按队列顺序被安排抓取。
真正需要担心的不是“有没有死链”，而是死链的比例、返回状态和分布。
搜索蜘蛛遇到死链时的实际动作
- 记录该 URL 的状态码与最终地址；
- 继续解析同页其余 a 标签，不中断当前页面的链接提取；
- 把无效 URL 放进低优先级或不再抓取的集合；
- 如果整页无效链接占比很高，可能降低对入口页的抓取频次。
也就是说，影响是“整体质量层面”的，而不是“一个坏链接毁掉一整页”。
哪些情况才会真正影响目标 URL 的发现
1. 死链占比过高
假设入口页 50 条链接里有 30 条返回 404，爬虫会认为这个页面维护质量差，后续投入的抓取配额就会减少，新加的目标 URL 被发现的间隔会被拉长。
2. 死链返回的是 5xx 或长时间超时
404 是明确答案，5xx 和超时不是。服务器反复超时会让爬虫降低并发与频次，这种影响比 404 大得多。如果你发现所谓的死链实际返回 502、503，优先修服务器，而不是急着删链接。
3. 死链指向站外被拦截的地址
有些外链域名本身被安全策略拦截，抓取时可能拿到异常响应，同样会消耗抓取预算。入口页尽量只放你可控、能正常返回的地址。
怎么从日志里自查
- 按入口页 URL 过滤日志，统计状态码分布；
- 算出 404、5xx 各自的占比，超过两成就该清理；
- 抽查几条正常链接，确认爬虫确实访问到并拿到了 200；
- 对比清理前后目标 URL 的首次抓取数量，看趋势而不是看单日数字。
日志里看到的“抓取次数”不等于“收录”，也不等于“排名”。它只能说明爬虫来没来过、拿到了什么响应，别把这三件事混为一谈。
处理建议
- 定期巡检入口页链接，把 404 和 5xx 分门别类；
- 失效的目标 URL 直接删掉，不要用跳转硬撑，跳转页也会被单独评估；
- 保持入口页链接更新，把坏链占比控制在较低水平；
- 新增目标 URL 时先确认它能返回 200，再放进入口页。
两个常见误区
误区一：把死链当成绝对禁忌。偶发几个 404 是正常的，不必为了追求零死链反复折腾入口页结构。
误区二：以为死链会“传染”。爬虫不会因为一条 404 就否定同页其他链接，它是按 URL 独立判断的。
总结一句：入口页有死链不用慌，先看比例和状态码。把 5xx 和超时修掉，把占比过高的 404 清理掉，同页正常目标 URL 的发现节奏基本不会受到明显影响。