标签：爬虫带宽

抓取不只看次数：HTML 体积与传输方式也在消耗蜘蛛的带宽

抓取容量通常按主机维度分配，衡量指标既有请求数，也有传输字节和并发连接。同样一段时间里，一个很重的 HTML 会让蜘蛛走过的 URL 变少。本文从体积、压缩、渲染资源和列表页结构几个角度，说明重量是如何悄悄吃掉抓取效率的，并给出可以自查的项目。