标签：爬虫并发

蜘蛛集中抓取时的服务器负载：限速、放行与降级怎么安排

蜘蛛集中抓取消耗的是和用户同一份服务器资源，站点变慢又会反过来压低抓取频次。本文从瓶颈判断、限速该放在哪一层、页面优先级排序，到 503、429 的使用边界，说明怎么在不赶走蜘蛛的前提下控制抓取压力。