先分清“抓取失败”是哪一种失败
搜索蜘蛛访问入口页时，失败并不是单一状态。常见的可以分为几类，处理方向完全不同：
- 解析阶段：DNS 查不到域名、解析超时，或解析到的 IP 无法连通。
- 连接阶段：TCP 连接被拒绝、连接超时、连接被重置（RST）。
- 安全握手阶段：TLS 证书过期、证书链不完整、协议版本不被支持。
- HTTP 阶段：返回 5xx、返回 429、响应头缺失或响应不符合协议。
- 读取阶段：响应头正常返回，但正文长时间不结束，触发超时。
这几类在蜘蛛日志里可能都表现为“没有抓到”，但后续影响差别很大。解析类和连接类问题通常会让抓取频率较快下降，而偶发的读取超时往往只是单次失败。
重试一般存在，但规则不由你决定
主流搜索引擎的抓取系统基本都有失败重试逻辑，只是次数、间隔和触发条件属于各自内部策略，没有对外公开的固定值。从日志中能观察到的共性大致是：
- 短时间内的偶发失败，例如一次超时，多半会在后续被重试。
- 连续失败通常会拉长重试间隔，而不是越失败来得越勤。
- 解析失败、证书错误这类问题，重试往往不会很快发生，因为成本高、成功率低。
- 5xx 和 429 的语义不同：前者代表服务器故障，后者代表主动限流，蜘蛛的退让方式也不一样。
不要假设“每次失败都会被重试”。把入口页做成稳定返回，比研究重试次数更有效。
从日志里观察重试行为
- 先按蜘蛛来源 IP 分组，而不是只按 URL 分组，这样才能看到同一个蜘蛛的连续动作。
- 看同一 IP 对同一 URL 的请求时间间隔：如果从几秒变成几分钟、几小时，说明抓取节奏在退让。
- 对照服务器状态码日志，确认失败是发生在自己这一侧，还是发生在网络链路上。
- 记录失败集中出现的时段，看是否与流量高峰、备份任务、CDN 回源或防火墙策略变更重合。
- 如果同一天里同一蜘蛛对同一 URL 反复出现，说明重试存在；如果之后几天完全没有出现，通常意味着抓取优先级被下调。
服务器端更值得先排查的几项
- 连接数限制：Web 服务器或防火墙对单 IP 并发连接做了限制，蜘蛛多开几条连接就被拒。
- 回源链路：CDN 回源超时设置过短，源站稍慢就返回 5xx。
- IPv6：域名同时解析到 IPv4 和 IPv6，但 IPv6 链路不通，部分抓取会直接失败。
- 证书与协议：证书链不完整、只支持老旧 TLS 版本，都会在握手阶段失败。
- 防火墙与风控：把搜索引擎的 IP 段误判为异常流量，触发拦截或验证页。
一个常见误区
有些人看到日志里蜘蛛反复来访，就认为“蜘蛛很喜欢这个入口页”，甚至频繁更换服务器或 IP 来制造更多访问。实际上，反复出现的请求里很可能包含失败重试。判断抓取是否健康，应该看成功返回 200 的比例和被抓取覆盖的 URL 数量，而不是看请求总数的多少。请求很多但大量 5xx，对入口页的抓取只会越来越不利。
另外，调整任何参数后都要留一段观察期。抓取节奏的变化通常滞后于服务器状态的变化，当天改完当天见效的情况很少见。