抓取节奏不是一个固定参数。搜索蜘蛛在站点上停留多久、多久回来一次、一次能带走多少 URL，很大程度上取决于服务器给出的反馈。理解这套反馈机制，比单纯追求“让蜘蛛多来几次”更有用。
蜘蛛抓取时会记录哪些信号
每次请求，蜘蛛除了拿到内容，还会记录一组环境数据。这些数据会汇总进该站点的抓取画像：
- 响应状态码：200、301、404、403、429、5xx 各自含义不同，处理方式也不同。
- 响应耗时：从发起连接到首字节返回的时间，以及完整下载时间。
- 连接层结果：DNS 解析、TLS 握手、连接被重置、超时等失败类型。
- 内容体积：单页过大时会同时占用带宽和抓取额度。
- 历史抓取效率：过去一段时间抓到的内容里，新 URL 与重复内容各占多少。
这些信号综合起来，决定了蜘蛛下一次愿意派多少并发、间隔多久再来。
5xx、429 与超时，处理逻辑并不相同
5xx：通常被视为临时故障
500、502、503 一般被当作服务器临时问题，蜘蛛往往会在短期内重试。但如果某个目录持续返回 5xx，这个目录下的 URL 会被整体降速，并连带影响同一站点其他正常路径的抓取分配。反复出现的 5xx，往往比一次性的 404 更容易拖慢整站节奏。
429：明确的限流信号
429 表示请求过多，蜘蛛收到之后一般会主动降低并发。对站点来说，这比任由请求堆积把服务器压垮要好。但如果限流长期触发，抓取节奏会稳定在一个较低水平，新 URL 被发现的速度也会跟着变慢。
超时与连接失败：最容易被忽略的一类
连接被重置、握手失败、响应迟迟不返回，这类情况蜘蛛拿不到明确的语义，往往只能保守处理——降低对该站点的抓取频次。很多站点只盯着日志里的状态码，却忽略了这些没有状态码的失败记录。
抓取节奏被压低之后，URL 发现会怎样
抓取额度是一种有限资源。当节奏被压低，蜘蛛会更倾向于优先走完已知的重要路径，减少向深处探索。直接结果是：
- 层级较深的 URL 被发现的时间周期变长，而不是完全不被发现。
- 低质量的重复地址会分摊本就不多的抓取次数。
- Sitemap 里提交的地址，等待首次抓取的时间会向后延。
所以当站点整体抓取进度变慢时，先确认服务端有没有异常，再检查链接结构，通常更有效率。
站点侧可以做的几件事
- 把静态资源与 HTML 分开承载，避免图片、脚本抢占页面抓取的响应时间。
- 保证重要路径的响应稳定，宁可页面简单一点，也不要出现间歇性的 5xx。
- 对蜘蛛请求不要做无差别限流，在服务端规则里区分开来，避免正常抓取被误伤。
- 监控没有状态码的失败，连接超时、连接断开这类日志同样值得纳入观察。
- 控制单页体积，让主体内容尽早返回，其余部分按需加载。
稳定的响应本身就是一种发现能力
很多人把 URL 发现理解为链接和提交的问题，但抓取节奏决定了这些入口能不能被真正走完。一个响应稳定、失败率低的站点，即使链接结构普通，蜘蛛也愿意多走几步；反过来，结构再清晰，如果每次访问都伴随超时，深层路径依然会被搁置。
把服务器反馈当成一条需要持续观察的数据线，而不是一次性的排查项。抓取节奏的变化，通常早于最终结果的变化。