标签：HTTP缓存协商

搜索蜘蛛抓取：304 条件请求命中异常与校验头配置排查

蜘蛛回访旧 URL 时会带 If-None-Match 或 If-Modified-Since，服务端正确返回 304 能省下大量重复传输与解析开销。本文梳理 ETag 每次变化、Last-Modified 取错时间、CDN 改写头部等常见失效原因，并给出一条可执行的排查顺序，帮站长把抓取预算用在该用的地方。