标签：长尾延迟

平均响应时间没问题，蜘蛛却抓不动：抓取里的长尾延迟怎么查

服务器监控上的平均响应时间往往很好看，但蜘蛛是按请求逐个走的，少数慢到几十秒的请求就足以让它超时断开。这篇文章讲清楚平均值掩盖了什么、怎么从抓取日志里看出慢请求分布，以及缓存回源、慢查询、外部接口、并发限流这些常见环节该怎么逐一排查。