标簽：站点容量

蜘蛛一次抓多少頁：並發、限速與站点侧的容量准备

蜘蛛抓取不是一次只取一個頁面，並發连接數與請求速率共同决定了它能在站点上走多深。本文從 429/503、Crawl-delay、控制台限速三類信号说起，给出估算服務器容量的简單方法，並說明哪些情况下應主動降速、日誌里如何判断並發是否正常。