标签：Cache-Control

蜘蛛池入口页的响应头：Last-Modified、ETag 与 Cache-Control 如何影响蜘蛛回访

蜘蛛每次抓取都会读响应头，Last-Modified、ETag 与 Cache-Control 决定了它下次要不要来、来的时候看到的是哪一份内容。本文讲清三者各自的作用、常见的错误写法，以及如何用访问日志和回源请求验证头部是否按预期工作。