不少站点會發現一個情况：自己在浏览器里打開的入口頁，連結列表是新的；但搜尋蜘蛛抓取时拿到的那份 HTML，可能還是几小时前甚至几天前的舊版本。结果就是新加的連結迟迟没被看到，已经删掉的連結還在被反复請求。這種情况多半不是蜘蛛不抓，而是缓存层在中間做了手脚。
為什么蜘蛛看到的頁面會和你不一样
入口頁通常不會只有一层：源站之外，可能有 CDN 邊缘节点、反向代理、頁面缓存插件、對象存储副本。這些层各自按自己的規則儲存一份 HTML。搜尋蜘蛛從不同的 IP、不同地区、不同 UA 發起請求，命中的缓存副本未必是同一份，看到的内容自然可能對不上。
更常见的是缓存键（cache key）設定得太粗：比如只按 URL 缓存，忽略了 UA、語言、地区。移動端蜘蛛和桌面端蜘蛛拿到同一份 HTML，其中一方的連結可能並不适合它。
常见的几種“版本错位”
- 新增連結没同步：源站已更新，邊缘节点仍返回舊 HTML，新連結没進入蜘蛛的视野。
- 刪除連結仍在：入口頁已撤下目标 URL，缓存副本里還留着，蜘蛛繼續按舊列表抓取。
- UA 差异化：對蜘蛛和普通訪客返回不同内容，缓存把其中一份固定下来，導致長期错位。
- 缓存了错誤响應：源站短暂 5xx 或超时，缓存把错誤頁也存了一份，蜘蛛拿到的是错誤頁面。
- 多节点不一致：不同地区节点刷新時間不同，蜘蛛在不同時間訪問，看到的連結數量都不一样。
怎么判断是不是缓存造成的
- 用命令行請求入口頁，查看响應头里的 Age、X-Cache、CF-Cache-Status 一類字段，判断是否命中缓存。
- 连續請求几次，或換不同地区节点請求，對比返回的 HTML 是否一致。
- 換用常见搜尋蜘蛛的 UA 再請求一次，看正文里的連結列表有没有變化。
- 對照服務器日誌：蜘蛛抓取的時間点，和源站實际更新時間、缓存刷新時間是否吻合。
如果同一 URL 在不同時間返回的 HTML 指纹不同，而源站並没有改動，基本可以定位到缓存层。
處理思路
核心原則是：入口頁的 HTML 一旦變更，要主動让缓存失效，而不是等它自然過期。
- 更新連結列表後，立即對该 URL 做缓存刷新或预热，避免新舊混杂。
- HTML 的缓存時間不要太長，入口頁這類频繁變動的頁面尤其如此；静態资源可以長缓存，HTML 建议短缓存加校驗。
- 如果必须做 UA 或地区差异化，確認缓存键里包含這些维度，避免串用。
- 移除連結时同样要刷新缓存，否則蜘蛛會繼續沿着舊連結抓取。
- 源站異常时，避免把 5xx 頁面缓存下来；配置上排除错誤狀態碼的缓存。
缓存不是设好就不用管的開關。入口頁這類承担 URL 發現作用的頁面，缓存策略要跟着連結變更的节奏走。
日常运营的几点建议
- 把刷新缓存寫進入口頁的發布流程，和更新連結同时执行。
- 定期抓取入口頁並儲存 HTML 指纹，观察内容是否與源站一致。
- 關注入口頁的 HTTP 狀態碼分布，長時間異常先查缓存再查其它环节。
- 連結结构調整时，先小范围驗證蜘蛛拿到的版本正确，再批量更新。
说到底，URL 發現依赖的是蜘蛛實际讀到的那份 HTML，而不是你屏幕上看到的那份。把缓存這一层管好，很多新連結不抓、舊連結還抓的疑惑會少一大半。