标簽：传輸编碼

压缩與分块传輸：蜘蛛讀頁面时先過的一道解碼

頁面被蜘蛛抓走前，先要经過压缩與分块传輸這一层。响應头声明了 gzip 或 br，正文却對不上，蜘蛛拿到的就是一堆乱碼；chunked 传輸中途卡住，日誌里狀態碼是 200，内容却迟迟讀不完。本文梳理传輸编碼對抓取的實际影响，以及压缩层級、缓存键和自查顺序上的常见坑。