站点运维里關于抓取速率的抱怨通常有两個方向：一種是蜘蛛来得太密，服務器被打满；另一種是蜘蛛几乎不来，新頁面迟迟没人看。這两種情况看着對立，處理逻辑却不一样。抓取速率是蜘蛛根據站点响應情况動態調整的结果，不是一個能随意拧大拧小的水龙头。
速率是谁定的：蜘蛛的參考信号
主流搜尋引擎的抓取調度會综合几類信号，其中站点端能直接影响的是前两類：
- 服務器响應時間、超时比例與 5xx 错誤率；
- 同一主机下可抓 URL 的總量與更新频率；
- 歷史抓取表現，包括连接被拒、重试次數；
- 站点是否让蜘蛛频繁撞上重复地址、空壳頁與無意义參數。
站点响應越稳，蜘蛛越可能提高並發；一旦出現持續超时或大面积错誤，它通常會自己踩刹车。所以当抓取量突然下降，先別急着找“降權”的原因，看看服務器日誌里是不是同一时段出現了 5xx 或响應變慢。
抓得太猛：先分清是错觉還是真問题
有时候“太猛”只是错觉。日誌里同一秒出現多條记錄，可能来自同一批並發连接，也可能只是不同搜尋引擎的蜘蛛叠加，看起来热闹，實际對带宽的压力有限。判断标准應该是：
- CPU、資料库连接數、带宽是否在抓取高峰被明顯拉高；
- 是否存在同一個蜘蛛對少量 URL 的重复高频抓取；
- 是否集中在某几個動態接口或篩選參數頁上。
如果是最後一種，問题往往不在速率，而在可抓 URL 的邊界没划清：參數组合被当成新地址，蜘蛛自然會一遍遍走。這種情况下收紧參數入口、减少重复路径，比降速更有效。
让蜘蛛慢下来：可用手段與邊界
- 返回合适的错誤碼：服務器真的扛不住时，返回 503 並带上 Retry-After，比让請求長時間挂着直到超时更好。持續 5xx 會让蜘蛛降低抓取频率，但滥用會损伤整站信任，只适合短时應急。
- robots.txt 里的 Crawl-delay：只有部分爬虫會遵守，不能当作通用限速開關，寫之前先確認目标爬虫的支持情况。
- CDN 或網關层的限速：可以按 User-Agent 單獨限流，但要避免把正常抓取一並掐掉，也不要返回让蜘蛛誤判為“頁面已消失”的狀態碼。
- 减少被抓對象：把無收錄價值的地址挡在抓取之外，比压低整体速率更精准。
什么时候该让它多抓一些
需要“提量”的场景其實很少，而且手段主要是間接的：缩短重要頁面的跳轉层級、让内鏈指向稳定、保證响應時間在可控范围、及时清理長期 404 與重定向鏈。蜘蛛愿意多走，通常是因為走起来顺畅，而不是因為收到了某個提速請求。
一個可执行的检查顺序
- 從服務器日誌里按爬虫归類，区分不同蜘蛛的請求量與时段分布；
- 看抓取高峰时段的响應時間、5xx 比例與超时數；
- 確認被抓最多的 URL 是不是重复參數、篩選頁或空壳頁；
- 检查是否有大面积重定向鏈與長期存在的错誤地址；
- 把無價值地址的入口收掉，再观察一到两周的日誌變化；
- 只有確認服務器确有压力且無法從结构上减负时，才考虑限速手段。
抓取速率更像体温而不是旋钮：它反映的是站点目前的健康状况。把响應、结构和可抓邊界整理好，速率會自己走回合理区間；反過来，只盯着速率做文章，往往解决不了真正的問题。