标签：HTTP头

蜘蛛池入口页的缓存头：304 响应如何改变蜘蛛的回访节奏

蜘蛛池入口页经常被反复抓取，合理设置 Cache-Control、ETag 与 Last-Modified 可以让蜘蛛准确判断内容是否更新，减少无效回访。本文解释这些缓存头在抓取链路里的作用、常见配置误区，以及如何用日志和 curl 验证，让抓取预算用在更需要的页面上。