标簽：抓取复查

304、ETag 與 Last-Modified：缓存协商怎样影响蜘蛛的复查判断

搜尋蜘蛛复查 URL 时常带條件請求头，服務器回 304 就跳過正文传輸。這個机制本身没有問题，但 Last-Modified、ETag 與 CDN 缓存如果配错，可能出現頁面已更新却長期返回 304，或者标识每次變化導致重复下载。本文梳理一次复查請求的完整過程、常见配置失誤與自查思路。