在蜘蛛池的日常运营里，很多人盯着蜘蛛来访次数，却很少仔细看每次抓取返回的状态码。实际上，状态码是抓取链路是否健康的直接反馈。一个入口页如果长期返回 4xx 或 5xx，蜘蛛即使来了，也很难把页面拿回去，后续的 URL 发现和抓取调度也会受到影响。
先分清两类错误：4xx 和 5xx
4xx 表示客户端侧的问题，通常是蜘蛛请求的地址、权限或频率不符合服务器预期；5xx 表示服务器端无法正常完成请求。两者排查方向不同，混在一起看容易误判。
常见 4xx：404、403、410、429
- 404 Not Found：页面不存在。入口页被删除、URL 拼写错误、伪静态规则写错时常见。少量 404 正常，大量 404 说明站内链接或 sitemap 与实际地址不一致。
- 403 Forbidden：服务器拒绝访问。可能是 IP 被防火墙拦截、User-Agent 被规则屏蔽、目录权限配置错误，也可能是 WAF 把蜘蛛误判为攻击。
- 410 Gone：页面被永久删除。它会比 404 更明确地告诉蜘蛛“不用再来了”，适合确实要下线的页面，但不适合临时调整。
- 429 Too Many Requests：请求频率超过限制。常见于限流规则过严、并发连接数设置过低，或者蜘蛛短时间内集中抓取同一批 URL。
常见 5xx：500、502、503、504
- 500 Internal Server Error：程序出错。可能是脚本超时、数据库连接失败、伪静态规则异常，或者入口页依赖的某个服务不可用。
- 502 Bad Gateway：反向代理或 CDN 无法从源站拿到有效响应。源站宕机、PHP-FPM 进程崩溃、CDN 回源超时都可能触发。
- 503 Service Unavailable：服务暂时不可用。常见于服务器维护、过载保护、数据库连接数满，也可能是主动设置的维护页面。
- 504 Gateway Timeout：网关等待源站超时。多与源站响应慢、程序卡死、外部接口阻塞有关。
怎么从日志里看出问题
不要只看状态码的数量，还要结合路径、时间、UA 和 IP 一起看。可以按下面顺序排查：
- 先看错误集中在哪些 URL，是少量入口页还是整站大面积出现。
- 再看错误出现的时间段，是否和服务器负载高峰、发布操作、规则调整重合。
- 然后核对 UA 和反向 DNS，确认是真实蜘蛛还是普通爬虫或扫描器。
- 最后看响应时间，5xx 往往伴随较长的处理时间，4xx 则通常响应很快。
处理建议
针对 4xx，优先修正链接和权限。把失效入口页做 301 到相关页面，或者用 410 明确下线；检查防火墙、WAF 和服务器规则，避免把正常蜘蛛请求拦掉。限流要留出合理余量，不要因为担心压力而把抓取频率压得过低。
针对 5xx，先恢复服务稳定性。检查程序日志、数据库连接、PHP-FPM 进程、CDN 回源配置和服务器资源占用。如果入口页本身依赖外部接口，尽量做超时和降级处理，避免一个慢接口拖垮整个页面。
另外，可以给入口页加一层简单的可用性监控，定期从外部网络请求几个代表性 URL，记录状态码和响应时间。这样在蜘蛛大量反馈之前，你就能发现异常。
状态码不是给蜘蛛看的“结果”，而是给你看的“线索”。把 4xx 和 5xx 分开处理，才能让抓取预算花在真正可用的页面上。