蜘蛛池入口頁的作用是让搜尋蜘蛛顺着連結走到目标 URL。但很多站点前面挂着 CDN、反向代理或對象存储缓存，入口頁實际返回的内容並不完全由源站决定。缓存命中时，搜尋蜘蛛拿到的是一份副本，而不是你刚改過的版本。這一点在做 URL 發現时容易被忽略。
缓存為什么會出現在發現鏈路上
入口頁通常是静態 HTML，正好是最容易被整頁缓存的一類頁面。CDN 邊缘节点、Nginx 的 fastcgi_cache、對象存储的静態托管，都可能把第一次請求的结果存下来，之後一段時間内直接返回這份副本。
- 缓存命中时返回的是舊副本，里面可能還没有你新加的目标連結。
- 缓存時間設定得過長，新增的目标 URL 會一直停在源站，出不去。
- 不同地区、不同节点的缓存狀態不一致，来自不同 IP 的蜘蛛看到的内容可能不同。
- 缓存层與源站返回的狀態碼、字节數不一致，日誌里會出現對不上的情况。
搜尋蜘蛛看到舊版本，影响的是什么
已经存在于舊版本里的連結，一般不會因為缓存而消失，蜘蛛仍然能按原有结构繼續走。真正受影响的是新增部分：如果新的目标 URL 只寫在最新版本的 HTML 里，而缓存還没刷新，那么這條連結對外就還不存在。
不是發現失敗，而是發現延後
大多數情况下這不是鏈路断掉，而是节奏被拉長。入口頁本身被蜘蛛正常抓取，但抓到的是舊内容，于是新一轮的目标 URL 要等缓存過期、节点刷新之後才可能被看到。如果入口頁是持續更新、持續投放新目标 URL 的，這種延後就會累积。
怎么判断缓存是否挡在了中間
- 直接請求入口頁，查看响應头里的 age、x-cache、cf-cache-status、x-cache-status 等字段，判断這次是否命中缓存。
- 對比源站直连返回的 HTML 和经過 CDN 返回的 HTML，看連結列表是否一致。
- 在服務器日誌里比對着看：同一個入口頁，源站收到的請求次數和缓存层轉發的次數往往差很多。
- 在入口頁加一條明顯的測試連結，观察它多久能在缓存层生效，以此估算實际的更新延迟。
入口頁的缓存策略怎么調
- 把入口頁和普通静態资源区分開。内容頁、图片可以長缓存，入口頁這類需要频繁改動的頁面建议設定較短的缓存時間，或者直接不缓存。
- 更新入口頁後同步刷新 CDN 缓存，不要只刷新首頁和几個重点頁面。
- 保持一條源站可直连的路径，方便自己核對内容，也方便排查缓存层返回的版本問题。
- 如果入口頁數量較多，把更新和刷新做成同一個流程，而不是先改完再想起来刷缓存。
缓存解决的是訪問速度問题，不是抓取問题。把入口頁的缓存策略和更新节奏對齐，比反复往頁面里堆連結更有效。
一個容易忽略的细节
缓存节点之間並不同步。同一個入口頁，A 节点可能已经刷新，B 节点還是舊版本。搜尋蜘蛛的出口 IP 不固定，不同時間抓到的内容就可能不一样。如果發現目标 URL 的發現速度时快时慢、时有时無，可以先把這一层排除掉，再去看入口頁结构和連結設定。
整体思路不复杂：让源站、缓存层、蜘蛛三者看到的内容尽量一致。入口頁更新後能及时對外生效，目标 URL 的發現鏈路才是稳定的。