抓取节奏不是一個固定參數。搜尋蜘蛛在站点上停留多久、多久回来一次、一次能带走多少 URL，很大程度上取决于服務器给出的反馈。理解這套反馈机制，比單纯追求“让蜘蛛多来几次”更有用。
蜘蛛抓取时會记錄哪些信号
每次請求，蜘蛛除了拿到内容，還會记錄一组环境資料。這些資料會匯總進该站点的抓取画像：
- 响應狀態碼：200、301、404、403、429、5xx 各自含义不同，處理方式也不同。
- 响應耗时：從發起连接到首字节返回的時間，以及完整下载時間。
- 连接层结果：DNS 解析、TLS 握手、连接被重置、超时等失敗類型。
- 内容体积：單頁過大时會同时占用带宽和抓取額度。
- 歷史抓取效率：過去一段時間抓到的内容里，新 URL 與重复内容各占多少。
這些信号综合起来，决定了蜘蛛下一次愿意派多少並發、間隔多久再来。
5xx、429 與超时，處理逻辑並不相同
5xx：通常被视為临时故障
500、502、503 一般被当作服務器临时問题，蜘蛛往往會在短期内重试。但如果某個目錄持續返回 5xx，這個目錄下的 URL 會被整体降速，並连带影响同一站点其他正常路径的抓取分配。反复出現的 5xx，往往比一次性的 404 更容易拖慢整站节奏。
429：明确的限流信号
429 表示請求過多，蜘蛛收到之後一般會主動降低並發。對站点来说，這比任由請求堆积把服務器压垮要好。但如果限流長期触發，抓取节奏會稳定在一個較低水平，新 URL 被發現的速度也會跟着變慢。
超时與连接失敗：最容易被忽略的一類
连接被重置、握手失敗、响應迟迟不返回，這類情况蜘蛛拿不到明确的语义，往往只能保守處理——降低對该站点的抓取频次。很多站点只盯着日誌里的狀態碼，却忽略了這些没有狀態碼的失敗记錄。
抓取节奏被压低之後，URL 發現會怎样
抓取額度是一種有限资源。当节奏被压低，蜘蛛會更倾向于優先走完已知的重要路径，减少向深處探索。直接结果是：
- 层級較深的 URL 被發現的時間周期變長，而不是完全不被發現。
- 低质量的重复地址會分摊本就不多的抓取次數。
- Sitemap 里提交的地址，等待首次抓取的時間會向後延。
所以当站点整体抓取進度變慢时，先確認服務端有没有異常，再检查連結结构，通常更有效率。
站点侧可以做的几件事
- 把静態资源與 HTML 分開承载，避免图片、脚本抢占頁面抓取的响應時間。
- 保證重要路径的响應稳定，宁可頁面简單一点，也不要出現間歇性的 5xx。
- 對蜘蛛請求不要做無差別限流，在服務端規則里区分開来，避免正常抓取被誤伤。
- 监控没有狀態碼的失敗，连接超时、连接断開這類日誌同样值得纳入观察。
- 控制單頁体积，让主体内容尽早返回，其余部分按需加载。
稳定的响應本身就是一種發現能力
很多人把 URL 發現理解為連結和提交的問题，但抓取节奏决定了這些入口能不能被真正走完。一個响應稳定、失敗率低的站点，即使連結结构普通，蜘蛛也愿意多走几步；反過来，结构再清晰，如果每次訪問都伴随超时，深层路径依然會被搁置。
把服務器反馈当成一條需要持續观察的資料线，而不是一次性的排查項。抓取节奏的變化，通常早于最终结果的變化。