标簽：Cache-Control

蜘蛛池入口頁的响應头：Last-Modified、ETag 與 Cache-Control 如何影响蜘蛛回訪

蜘蛛每次抓取都會讀响應头，Last-Modified、ETag 與 Cache-Control 决定了它下次要不要来、来的时候看到的是哪一份内容。本文讲清三者各自的作用、常见的错誤寫法，以及如何用訪問日誌和回源請求驗證头部是否按预期工作。