做蜘蛛池和 URL 发现时，很多人只盯着「目标 URL 有没有被抓」，却忽略了「抓的时候目标站回了什么」。同一个目标 URL，返回 200、503、429 还是 403，搜索蜘蛛接下来的动作完全不同，而这又直接决定了它之后还愿不愿意来、隔多久来一次。
先分清：几类状态码传递的信号不一样
- 503 Service Unavailable：服务器暂时不可用，属于临时性故障。
- 429 Too Many Requests：请求太多，你在限流，属于速率信号。
- 403 / 401：明确拒绝访问，属于权限层面的拦截。
- 500：服务器内部报错，同样偏临时性，但要看是否持续。
- 404 / 410：内容不存在，属于另一套处理逻辑，不在本文讨论范围。
这几类状态码的共同点是：抓取端通常不会因为一次失败就把 URL 永久划掉，但它们的重试节奏和降速幅度差别很大。
503：算临时故障，会退避重试
搜索蜘蛛遇到 503，一般会理解为「服务器暂时打不开」，而不是「这个页面没了」。它不会立刻放弃，但会拉长重试间隔，从几小时逐步放大到一天、几天。如果目标 URL 连续多天都返回 503，抓取频次会肉眼可见地下降，甚至暂时从抓取队列里退到后面。
这里有一个容易被忽略的细节：如果确实是计划内维护，返回 503 的同时带上 Retry-After 响应头，比随意返回 200 加一个「网站维护中」的页面更清晰。后者容易被当成内容变化，反复抓取一个没有实质内容的页面。
注意：如果维护页返回 200 且内容很薄，既不算有效内容，又占用了抓取预算，长期看并不划算。
429：抓太快了，抓取端会主动降速
429 更像是你在对搜索蜘蛛说「慢一点」。这种情况一般不是惩罚，而是限流信号。抓取端收到后通常会降低对该目录或该域名的并发请求数，把抓取时间拉长、分散开来。
实际运营中常见两种误操作：一是防火墙规则误伤了搜索蜘蛛的 IP 段，导致目标 URL 大量返回 429；二是入口页集中铺量，同一时间把大量目标链接推给同一个域名，触发目标站的限流阈值。前者是配置问题，后者是节奏问题，都可以调整。
403 / 401：容易被当成长期不可访问
403 传递的是「我明确不让你看」。如果目标 URL 对搜索蜘蛛持续返回 403，抓取端会逐步降低抓取意愿，最终可能直接跳过这个 URL。需要区分两种情况：一种是目标站确实做了防盗链或 IP 白名单，另一种是 CDN 或 WAF 的默认策略把搜索引擎 UA 拦了。
比较务实的做法是：在服务器日志里按状态码筛一遍，看看 403 是集中在某几个 IP 段，还是全量命中。如果全量命中，基本可以确定是策略配置问题，而不是蜘蛛本身的问题。
一份可落地的排查清单
- 先看目标站日志，统计 5xx、429、403 各自占比，别混在一起看。
- 确认限流规则是否对已知搜索蜘蛛做了白名单或单独放宽。
- 检查入口页推链接的节奏，避免同一小时内对同一目标域名推送过多 URL。
- 如果是真实维护，规范返回 503 并配合 Retry-After，而不是返回空壳 200 页面。
- 观察一到两周的抓取趋势，再决定是调整入口页数量还是修服务器配置。
- 把状态码异常和「抓取量下降」两件事分开判断，避免误以为是入口页失效。
别把希望全押在「多铺入口页」上
当目标 URL 持续返回异常状态码时，继续加入口页、加链接数量，通常只会把同一个问题放大：更多的请求打到一台本就吃力的服务器上，429 和 503 出现得更频繁。更合理的顺序是先让目标站能稳定返回 200，再谈 URL 发现的广度和频率。
抓取本身是一个双方配合的过程。入口页负责让 URL 被看到，目标站负责让抓取能顺利完成，缺了后一半，前面铺得再多也很难转化成实际的抓取结果。