搜
让蜘蛛少下一遍整页:304 与条件请求的配置思路
蜘蛛会反复请求同一批 URL,如果服务器每次都重发完整页面,带宽和抓取额度都会被消耗掉。条件请求通过 If-Modified-Since 与 If-None-Match 判断内容是否变化,未变时返回 304,只回响应头不回正文。本文说明它的工作方式、常见失效情形、日志核对方法与配置要点。
阅读全文 →共找到 1 篇与“304 状态码”相关的文章。
蜘蛛会反复请求同一批 URL,如果服务器每次都重发完整页面,带宽和抓取额度都会被消耗掉。条件请求通过 If-Modified-Since 与 If-None-Match 判断内容是否变化,未变时返回 304,只回响应头不回正文。本文说明它的工作方式、常见失效情形、日志核对方法与配置要点。
阅读全文 →