标簽：服務器限速

蜘蛛池入口頁的服務器承载：蜘蛛集中抓取时先做這几項准备

入口頁批量铺開後，蜘蛛的抓取往往不是均匀分布的。同一时段的大量請求會把動態生成、資料库连接和出口带宽一起压满，随後出現 5xx 與超时。本文從日誌观察、瓶颈排查、主動限速和 5xx 處理几個方向，整理入口站上线前後可以做的承载准备。