标签：站点容量

蜘蛛一次抓多少页：并发、限速与站点侧的容量准备

蜘蛛抓取不是一次只取一个页面，并发连接数与请求速率共同决定了它能在站点上走多深。本文从 429/503、Crawl-delay、控制台限速三类信号说起，给出估算服务器容量的简单方法，并说明哪些情况下应主动降速、日志里如何判断并发是否正常。