标簽：Nginx

蜘蛛池入口頁的限速與並發：把抓取节奏調到服務器扛得住的区間

蜘蛛池入口頁跑起来之後，服務器端的限速與並發設定常被忽略。本文從並發连接數、請求速率、出口带宽三個维度說明怎样观察和設定限速規則，什么时候该放宽、什么时候该收紧，以及調整之後需要回看哪些指标，帮助把抓取节奏维持在服務器扛得住、蜘蛛也不容易失敗的区間。