标签：抓取复查

304、ETag 与 Last-Modified：缓存协商怎样影响蜘蛛的复查判断

搜索蜘蛛复查 URL 时常带条件请求头，服务器回 304 就跳过正文传输。这个机制本身没有问题，但 Last-Modified、ETag 与 CDN 缓存如果配错，可能出现页面已更新却长期返回 304，或者标识每次变化导致重复下载。本文梳理一次复查请求的完整过程、常见配置失误与自查思路。