标签：容量预留

抓取时段与服务器负载：蜘蛛访问高峰的观察与容量预留

蜘蛛的抓取并不是均匀铺开的，往往集中在某些时段。本文从日志时间分布、响应时间与错误率入手，说明如何观察抓取高峰、判断服务器是否成为瓶颈，以及如何通过容量预留和缓存策略减少抓取中断，让 URL 发现节奏保持稳定。