标签：传输编码

压缩与分块传输：蜘蛛读页面时先过的一道解码

页面被蜘蛛抓走前，先要经过压缩与分块传输这一层。响应头声明了 gzip 或 br，正文却对不上，蜘蛛拿到的就是一堆乱码；chunked 传输中途卡住，日志里状态码是 200，内容却迟迟读不完。本文梳理传输编码对抓取的实际影响，以及压缩层级、缓存键和自查顺序上的常见坑。