当搜索蜘蛛再次访问一个已经抓取过的URL时，它并不会总是立刻重新下载完整的页面内容。HTTP协议中存在一套条件请求机制，站点可以借助Last-Modified和ETag响应头，帮助蜘蛛在每次抓取前先确认资源是否真的发生了变化。这个机制看似细微，却直接影响着服务器负载、带宽消耗以及蜘蛛对站点的抓取效率。
Last-Modified与ETag：抓取前的“内容指纹”
Last-Modified表示页面内容的最后修改时间，ETag则是服务器为每个资源生成的版本标识。蜘蛛在后续请求中会带上If-Modified-Since或If-None-Match字段，询问服务器：“这个页面自上次抓取后是否有更新？”如果内容未变，服务器返回304状态码，不携带正文；只有实际变化时，才返回200并传输完整内容。
对站点而言，合理配置这两个响应头，能够减少无意义的大流量传输。对搜索蜘蛛而言，它也可以更快地完成抓取验证，将宝贵的抓取额度留给真正需要更新的页面。可以说，这是一种双赢的“对话”方式。
条件请求如何影响站点抓取资源的分配
搜索蜘蛛的抓取资源是有限且动态分配的。当一个站点大量页面返回200但内容实际上并未更新时，蜘蛛会耗费资源重复读取正文，导致真正的更新链接可能得不到足够的抓取机会。通过条件请求，当蜘蛛发出的验证请求返回304后，它就知道该URL没有变化，于是可以把原本用于下载正文的时间与连接数转移到其他需要重新抓取的URL上。
- Last-Modified适合日期语义明确的页面，能快速判断是否在某个时间点之后有过修改。
- ETag更适用于内容哈希或版本号生成的精确标识，即便时间未变，也能捕捉到细微改动。
一些节点使用Last-Modified和ETag的条件请求，能有效降低高频率抓取时服务器CPU和带宽的占用。站点运营者需要理解的是，304响应不是“拒绝访问”，而是“内容未变，无需重发”的正常协调信号。
站点配置中的常见误区
在服务端实现这些响应头时，不少站点会陷入一些误区。比如使用动态语言生成页面时，默认可能不输出Last-Modified，而是给出当前实时时间，这就会让蜘蛛每次请求都认为内容已更新，从而始终发送完整正文，失去条件请求的意义。又比如ETag生成规则不稳定，每次请求都会变化，哪怕页面内容根本没有改动，结果同样会降低304命中率。
- 只在静态URL上设置Last-Modified，动态页面全部忽略。
- 多个源站节点返回的ETag规则不一致，导致同一URL在不同IP下给出不同标识。
- 对图片、CSS、JS等静态资源也进行内容序列化，产生不必要的开销。
- 忽略请求中的条件字段，直接以200返回页面，错过减少传输的机会。
这些误区会让站点与蜘蛛之间的“验证”变成“重复搬运”。尤其在内容量较大的站点中，浪费的带宽会呈线性累积。
合理配置响应头的站点实践
要让条件请求真正发挥作用，应该从站点架构层面进行统一规划。如果使用Nginx，可以通过配置expires以及etag指令来规范静态资源的行为；对动态页面，则需要在后端代码中根据内容实际构建时间输出Last-Modified。
核心原则：只要页面正文或关键关联数据未发生变更，Last-Modified和ETag就应当保持不变。
确认内容变更来源
不要简单以请求时间作为Last-Modified值。应当取数据库记录的更新时间、文件修改时间或缓存生成的可靠时间。如果页面由多个数据块拼凑而成，则用其中最晚变更的时间作为页面最后修改时间。这样蜘蛛才能准确感知更新节点，避免误判。
规范ETag生成规则
ETag可以基于内容摘要生成，但要避免对不重要的动态元素（比如随机广告、访问计数）敏感。更好的做法是对核心HTML结构生成指纹。同时，需要保证同一URL在不同访问路径或不同节点返回的ETag稳定一致，否则会破坏条件请求的可用性。
用304响应率来观察抓取质量
查看服务器访问日志中按URL统计的304状态码比例，往往可以发现异常。如果某个页面大量返回200且请求头中带有If-Modified-Since，但服务端完全没有处理，则可能是响应头配置丢失；如果304比例过高且页面内容频繁微调，则要考虑是否需要调整Last-Modified的粒度，避免蜘蛛反复重抓。
正确的配置并不是为了让蜘蛛不来抓取，而是为了让抓取发生得更聪明。站点的真实内容更新一旦发生，只要响应头准确反映，蜘蛛就一定会感知，并与服务器协商获取最新版本。
动态与静态页面的统一策略
对于CMS系统，可以在模板输出时统一注入Last-Modified头，然后通过检测请求中的条件字段来决定是否输出304。这个过程在很多框架中只需添加少量代码。静态化页面则可以依赖文件系统的mtime，成本更低。需要注意的是，当站点启用CDN或负载均衡时，也要让各节点返回的条件响应信息保持同步，否则会产生无谓的回源抓取。
搜索蜘蛛在发现新URL后，会经历若干轮抓取。一个稳定、可信、协调良好的响应机制，会帮助站点在搜索引擎眼中留下更清晰的结构化信号。反过来，如果每次请求都产生庞大的无效响应，蜘蛛的抓取带宽会被浪费，真正的热点更新反而可能被延后处理。
本文所探讨的并非复杂的算法，而是服务器与蜘蛛之间最朴素的沟通方式。每一位站点运营者都可以打开浏览器开发者工具或查看访问日志，检查站内关键URL是否正确输出了Last-Modified和ETag。调整那些不合理的响应头，往往能让抓取预算分配在一两周内就出现良性变化。让页面更新信息回归真实，让条件请求成为默认行为，这比任何投机取巧都更值得长期坚持。