标签：304响应

搜索蜘蛛抓取：ETag 与 Last-Modified 不一致造成的重复下载排查

蜘蛛回访同一个 URL 时会带上条件请求头，服务器若能正确返回 304，就能避免重复下载正文。本文说明 ETag 与 Last-Modified 在哪些情况下会失配，包括动态时间、多机算法不一致、CDN 边缘重写等常见成因，并给出用命令行验证、多节点比对、结合抓取日志观察的具体排查步骤。