标簽：304响應

搜尋蜘蛛抓取：ETag 與 Last-Modified 不一致造成的重复下载排查

蜘蛛回訪同一個 URL 时會带上條件請求头，服務器若能正确返回 304，就能避免重复下载正文。本文說明 ETag 與 Last-Modified 在哪些情况下會失配，包括動態時間、多机算法不一致、CDN 邊缘重寫等常见成因，並给出用命令行驗證、多节点比對、结合抓取日誌观察的具体排查步骤。