标簽：長尾延迟

平均响應時間没問题，蜘蛛却抓不動：抓取里的長尾延迟怎么查

服務器监控上的平均响應時間往往很好看，但蜘蛛是按請求逐個走的，少數慢到几十秒的請求就足以让它超时断開。這篇文章讲清楚平均值掩盖了什么、怎么從抓取日誌里看出慢請求分布，以及缓存回源、慢查询、外部接口、並發限流這些常见环节该怎么逐一排查。