把入口頁放在 CDN 後面，本来是為了让頁面打開更快、更稳定。但做 URL 發現时，CDN 缓存會带来一個很實际的問题：搜尋蜘蛛抓到的可能不是你刚更新的入口頁，而是缓存里那份舊 HTML。舊 HTML 里没有新連結，蜘蛛自然也就發現不了新 URL。
為什么 CDN 缓存會影响 URL 發現
搜尋蜘蛛抓取入口頁时，和普通用戶一样，先向域名發起 HTTP 請求。如果 CDN 节点命中缓存，就會直接返回缓存副本，不一定回源站。這個過程對蜘蛛是透明的，它不會知道“這是缓存版本”。
如果你刚在入口頁加了一批目标 URL，但 CDN 缓存還没過期，蜘蛛拿到的頁面里可能仍然是舊連結。结果就是：你以為連結已经放出去了，蜘蛛看到的却是上一版内容。
蜘蛛抓到的是缓存還是源站
這取决于 CDN 的缓存策略和請求头。常见情况有几種：
- 缓存未過期：CDN 直接返回缓存，蜘蛛看不到最新連結。
- 缓存過期或未命中：CDN 回源站取最新頁面，蜘蛛能看到新連結。
- 强制回源：某些配置會让特定請求绕過缓存，但普通蜘蛛請求通常不享受這種待遇。
所以，入口頁更新後是否能被蜘蛛及时發現，不只看你改没改 HTML，還要看 CDN 什么时候把舊副本換掉。
怎么判断入口頁是否被缓存
可以用几個简單方法做初步判断：
- 用命令行請求入口頁，看响應头里有没有 Age、X-Cache、CF-Cache-Status 等字段。
- 對比不同地区或不同节点的返回内容，看連結是否一致。
- 在入口頁更新後，立即抓取一次，看返回的 HTML 里有没有新 URL。
- 如果條件允许，查看源站訪問日誌，確認 CDN 是否回源。
這些方法只能說明“目前這次請求”拿到的是什么，不能保證蜘蛛下一次抓取一定命中同一份缓存。
更新連結後可以做什么
目标不是“骗過缓存”，而是让最新入口頁更可能被蜘蛛拿到。可以考虑：
- 更新入口頁後，主動刷新 CDN 缓存，尤其是入口頁 URL。
- 合理設定缓存時間，入口頁這種经常變動的頁面不要设太長。
- 把入口頁 URL 做成带版本或带參數的地址，但要注意別制造大量重复頁面。
- 用 sitemap 或其他 URL 提交方式做补充，不要只依赖入口頁里的連結。
- 观察服務器日誌，確認蜘蛛是否真的抓到了新版本，而不是只看“提交成功”。
需要提醒的是，這些操作只是提高新連結被看到的概率，並不等于蜘蛛一定會抓、一定會收錄。
常见誤区
誤区一：我改了源站，蜘蛛就马上能看到
不一定。只要 CDN 還在返回舊缓存，蜘蛛看到的就還是舊頁面。源站更新和 CDN 更新是两件事。
誤区二：刷新一次缓存就永久有效
缓存刷新通常只影响目前节点或目前副本。後續請求是否回源，仍取决于缓存策略、過期時間和 CDN 的調度。
誤区三：入口頁有連結就等于 URL 被發現
發現只是第一步。蜘蛛還要决定是否抓取、什么时候抓取。缓存問题解决後，也只代表入口頁里确實有連結可被看到。
把 CDN 缓存当成 URL 發現鏈路中的一环来检查：入口頁是否更新、CDN 是否返回新版、蜘蛛是否實际抓到。三步都確認，比只盯一個“提交”動作更可靠。
如果你發現入口頁連結已经換了，但搜尋蜘蛛迟迟没有動静，可以先從 CDN 缓存和响應头查起。很多时候問题不在蜘蛛池本身，而在蜘蛛看到的那份頁面根本不是最新版。