入口页能被正常抓取，日志里也有搜索蜘蛛的访问记录，但目标 URL 的状态码一直不对劲，这种情况比“搜索蜘蛛根本没来”更难排查。它不属于发现环节的问题，而是抓取环节被服务端挡了回来。理解搜索蜘蛛对不同状态码的处理方式，能帮你判断问题出在入口页、目标站，还是中间的网络层。

搜索蜘蛛遇到不同状态码时的基本反应

2xx：抓取成功

正常返回内容后，搜索蜘蛛会进入解析、去重和索引判断流程。抓取成功只是第一步，和最终是否收录没有直接关系。

3xx：跟随跳转

一般会继续跟随，最终落到一个具体地址上。跳转链太长，或者第一跳就指向 5xx，效果会打折扣。

4xx：判定资源问题

404 和 410 表示资源不存在，搜索蜘蛛会逐步把该 URL 从待抓取队列和索引中剔除。入口页如果长期挂着这类链接，相当于持续浪费抓取机会。403 通常被理解为拒绝访问，可能来自权限设置或防火墙拦截，后果和 404 不同，但同样会中断抓取。

429：请求过多

这是限速信号，搜索蜘蛛一般会退避，降低对该站的抓取频率。它是提醒你放慢节奏，不等于封禁。

5xx：暂时性服务端错误

5xx 属于服务端错误。搜索蜘蛛通常认为这是临时状况，不会立刻放弃该 URL，而是安排重试，同时下调抓取频率。但如果同一批 URL 反复返回 5xx，抓取节奏会明显变慢，恢复也需要时间。

目标 URL 为什么会返回 5xx

• 源站响应慢或超时，请求在网关层就被切断
• 数据库、缓存或后端接口偶发故障
• CDN、WAF 把搜索蜘蛛的 UA 或 IP 段判定为异常流量而拦截
• 抓取请求集中在极短时间内，瞬时并发压垮小型服务器
• 站点处于维护、迁移状态，或证书配置出错

5xx 带来的连锁反应

• 单次抓取失败不会立刻影响索引，但重试有时间成本
• 抓取频率被下调后，入口页和站内其他 URL 的发现速度都会跟着变慢
• 长期大量 5xx，可能让搜索蜘蛛对该域名的整体信任度下降，抓取预算被压缩
• 入口页持续输出同一批 5xx 链接，等于把有限的抓取机会消耗在无效请求上

建议的排查顺序

1. 用接近搜索蜘蛛的 UA 和来源复现请求，记录目标 URL 的返回码与响应时间
2. 查目标站服务器访问日志，确认是否有搜索蜘蛛请求，以及返回了什么状态码
3. 检查 WAF、防火墙、CDN 的拦截日志，看是否命中规则
4. 核对入口页上那批链接是否已失效或路径变更
5. 对比不同时间段，确认是持续 5xx 还是集中在某个时间点
6. 修复后持续观察，不要期待抓取频率立刻回到原水平

入口页侧可以做的调整

• 及时清理返回 404、410 的旧链接，别让它们长期占位
• 把容易超时的目标 URL 分批放，避免请求集中
• 入口页自身保持稳定、快速响应，不要成为新的瓶颈
• 不要在同一入口页反复堆同一批目标 URL，制造无意义的重复请求

状态码问题本质上是服务端的可用性问题。入口页能做的只是减少无效请求、辅助排查，解决不了目标站自身的稳定性。

小结

目标 URL 频繁返回 5xx 或 404 时，先别急着增加入口页数量。把状态码、响应时间、拦截日志这三条线对齐，判断是暂时性故障还是持续不可用，再决定是继续投放还是暂时搁置这批链接。