标签：限速设置

蜘蛛池入口页的限速与并发：把抓取节奏调到服务器扛得住的区间

蜘蛛池入口页跑起来之后，服务器端的限速与并发设置常被忽略。本文从并发连接数、请求速率、出口带宽三个维度说明怎样观察和设置限速规则，什么时候该放宽、什么时候该收紧，以及调整之后需要回看哪些指标，帮助把抓取节奏维持在服务器扛得住、蜘蛛也不容易失败的区间。