标簽：HTTP头

蜘蛛池入口頁的缓存头：304 响應如何改變蜘蛛的回訪节奏

蜘蛛池入口頁经常被反复抓取，合理設定 Cache-Control、ETag 與 Last-Modified 可以让蜘蛛准确判断内容是否更新，减少無效回訪。本文解释這些缓存头在抓取鏈路里的作用、常见配置誤区，以及如何用日誌和 curl 驗證，让抓取预算用在更需要的頁面上。