标签：分块传输

搜索蜘蛛抓取：Content-Encoding 与分块传输不一致造成的正文残缺排查

蜘蛛抓取时正文要经压缩解码与分块拼接才完整，响应头与数据流不一致会让它只拿到半截内容。本文按取原始响应、比对压缩前后字节、核对分块结尾、检查代理与源站压缩层级的顺序，梳理传输层异常的排查方法与修复后的观察指标。