标簽：爬虫带宽

抓取不只看次數：HTML 体积與传輸方式也在消耗蜘蛛的带宽

抓取容量通常按主机维度分配，衡量指标既有請求數，也有传輸字节和並發连接。同样一段時間里，一個很重的 HTML 會让蜘蛛走過的 URL 變少。本文從体积、压缩、渲染资源和列表頁结构几個角度，說明重量是如何悄悄吃掉抓取效率的，並给出可以自查的項目。