标签：服务器限速

蜘蛛池入口页的服务器承载：蜘蛛集中抓取时先做这几项准备

入口页批量铺开后，蜘蛛的抓取往往不是均匀分布的。同一时段的大量请求会把动态生成、数据库连接和出口带宽一起压满，随后出现 5xx 与超时。本文从日志观察、瓶颈排查、主动限速和 5xx 处理几个方向，整理入口站上线前后可以做的承载准备。