标簽：爬虫並發

蜘蛛集中抓取时的服務器负载：限速、放行與降級怎么安排

蜘蛛集中抓取消耗的是和用戶同一份服務器资源，站点變慢又會反過来压低抓取频次。本文從瓶颈判断、限速该放在哪一层、頁面優先級排序，到 503、429 的使用邊界，說明怎么在不赶走蜘蛛的前提下控制抓取压力。