标签：304校验

搜索蜘蛛抓取：条件请求与 304 校验异常造成的重复抓取梳理

条件请求是搜索蜘蛛节省抓取预算的重要机制：携带 If-Modified-Since 或 If-None-Match 访问时，服务器返回 304 即可跳过正文下载。但 ETag 频繁变化、Last-Modified 失真、CDN 改写响应头或代理剥离条件头，都会让 304 失效，造成蜘蛛反复全量抓取。本文梳理常见异常表现与从日志到回源头的排查顺序。