蜘
蜘蛛池入口页的条件请求:ETag、Last-Modified 与 304 的正确用法
蜘蛛池入口页会被反复抓取,条件请求能让服务器在内容未变时返回 304,减少重复传输。本文说明 Last-Modified 与 ETag 的配合方式、常见误配置,以及如何通过日志和 curl 排查 304 命中问题,帮助你把抓取资源用在真正需要更新的页面上。
阅读全文 →共找到 1 篇与“HTTP 304”相关的文章。
蜘蛛池入口页会被反复抓取,条件请求能让服务器在内容未变时返回 304,减少重复传输。本文说明 Last-Modified 与 ETag 的配合方式、常见误配置,以及如何通过日志和 curl 排查 304 命中问题,帮助你把抓取资源用在真正需要更新的页面上。
阅读全文 →