当搜尋蜘蛛再次訪問一個已经抓取過的URL时，它並不會總是立刻重新下载完整的頁面内容。HTTP协议中存在一套條件請求机制，站点可以借助Last-Modified和ETag响應头，帮助蜘蛛在每次抓取前先確認资源是否真的發生了變化。這個机制看似细微，却直接影响着服務器负载、带宽消耗以及蜘蛛對站点的抓取效率。
Last-Modified與ETag：抓取前的“内容指纹”
Last-Modified表示頁面内容的最後修改時間，ETag則是服務器為每個资源生成的版本标识。蜘蛛在後續請求中會带上If-Modified-Since或If-None-Match字段，询問服務器：“這個頁面自上次抓取後是否有更新？”如果内容未變，服務器返回304狀態碼，不携带正文；只有實际變化时，才返回200並传輸完整内容。
對站点而言，合理配置這两個响應头，能够减少無意义的大流量传輸。對搜尋蜘蛛而言，它也可以更快地完成抓取驗證，將宝贵的抓取額度留给真正需要更新的頁面。可以说，這是一種双赢的“對话”方式。
條件請求如何影响站点抓取资源的分配
搜尋蜘蛛的抓取资源是有限且動態分配的。当一個站点大量頁面返回200但内容實际上並未更新时，蜘蛛會耗費资源重复讀取正文，導致真正的更新連結可能得不到足够的抓取机會。通過條件請求，当蜘蛛發出的驗證請求返回304後，它就知道该URL没有變化，于是可以把原本用于下载正文的時間與连接數轉移到其他需要重新抓取的URL上。
- Last-Modified适合日期语义明确的頁面，能快速判断是否在某個時間点之後有過修改。
- ETag更适用于内容哈希或版本号生成的精确标识，即便時間未變，也能捕捉到细微改動。
一些节点使用Last-Modified和ETag的條件請求，能有效降低高频率抓取时服務器CPU和带宽的占用。站点运营者需要理解的是，304响應不是“拒绝訪問”，而是“内容未變，無需重發”的正常协調信号。
站点配置中的常见誤区
在服務端實現這些响應头时，不少站点會陷入一些誤区。比如使用動態語言生成頁面时，預設可能不輸出Last-Modified，而是给出目前實时時間，這就會让蜘蛛每次請求都認為内容已更新，從而始终發送完整正文，失去條件請求的意义。又比如ETag生成規則不稳定，每次請求都會變化，哪怕頁面内容根本没有改動，结果同样會降低304命中率。
- 只在静態URL上設定Last-Modified，動態頁面全部忽略。
- 多個源站节点返回的ETag規則不一致，導致同一URL在不同IP下给出不同标识。
- 對图片、CSS、JS等静態资源也進行内容序列化，产生不必要的開销。
- 忽略請求中的條件字段，直接以200返回頁面，错過减少传輸的机會。
這些誤区會让站点與蜘蛛之間的“驗證”變成“重复搬运”。尤其在内容量較大的站点中，浪費的带宽會呈线性累积。
合理配置响應头的站点實践
要让條件請求真正發挥作用，應该從站点架构层面進行统一規划。如果使用Nginx，可以通過配置expires以及etag指令来規范静態资源的行為；對動態頁面，則需要在後端代碼中根據内容實际构建時間輸出Last-Modified。
核心原則：只要頁面正文或關键關联資料未發生變更，Last-Modified和ETag就應当保持不變。
確認内容變更来源
不要简單以請求時間作為Last-Modified值。應当取資料库记錄的更新時間、文件修改時間或缓存生成的可靠時間。如果頁面由多個資料块拼凑而成，則用其中最晚變更的時間作為頁面最後修改時間。這样蜘蛛才能准确感知更新节点，避免誤判。
規范ETag生成規則
ETag可以基于内容摘要生成，但要避免對不重要的動態元素（比如随机广告、訪問計數）敏感。更好的做法是對核心HTML结构生成指纹。同时，需要保證同一URL在不同訪問路径或不同节点返回的ETag稳定一致，否則會破坏條件請求的可用性。
用304响應率来观察抓取质量
查看服務器訪問日誌中按URL統計的304狀態碼比例，往往可以發現異常。如果某個頁面大量返回200且請求头中带有If-Modified-Since，但服務端完全没有處理，則可能是响應头配置丢失；如果304比例過高且頁面内容频繁微調，則要考虑是否需要調整Last-Modified的粒度，避免蜘蛛反复重抓。
正确的配置並不是為了让蜘蛛不来抓取，而是為了让抓取發生得更聪明。站点的真實内容更新一旦發生，只要响應头准确反映，蜘蛛就一定會感知，並與服務器协商获取最新版本。
動態與静態頁面的统一策略
對于CMS系統，可以在模板輸出时统一注入Last-Modified头，然後通過檢測請求中的條件字段来决定是否輸出304。這個過程在很多框架中只需添加少量代碼。静態化頁面則可以依赖文件系統的mtime，成本更低。需要注意的是，当站点啟用CDN或负载均衡时，也要让各节点返回的條件响應信息保持同步，否則會产生無谓的回源抓取。
搜尋蜘蛛在發現新URL後，會经歷若干轮抓取。一個稳定、可信、协調良好的响應机制，會帮助站点在搜尋引擎眼中留下更清晰的结构化信号。反過来，如果每次請求都产生庞大的無效响應，蜘蛛的抓取带宽會被浪費，真正的热点更新反而可能被延後處理。
本文所探讨的並非复杂的算法，而是服務器與蜘蛛之間最朴素的沟通方式。每一位站点运营者都可以打開浏览器開發者工具或查看訪問日誌，检查站内關键URL是否正确輸出了Last-Modified和ETag。調整那些不合理的响應头，往往能让抓取预算分配在一两周内就出現良性變化。让頁面更新信息回归真實，让條件請求成為預設行為，這比任何投机取巧都更值得長期坚持。