把入口页放在 CDN 后面，本来是为了让页面打开更快、更稳定。但做 URL 发现时，CDN 缓存会带来一个很实际的问题：搜索蜘蛛抓到的可能不是你刚更新的入口页，而是缓存里那份旧 HTML。旧 HTML 里没有新链接，蜘蛛自然也就发现不了新 URL。
为什么 CDN 缓存会影响 URL 发现
搜索蜘蛛抓取入口页时，和普通用户一样，先向域名发起 HTTP 请求。如果 CDN 节点命中缓存，就会直接返回缓存副本，不一定回源站。这个过程对蜘蛛是透明的，它不会知道“这是缓存版本”。
如果你刚在入口页加了一批目标 URL，但 CDN 缓存还没过期，蜘蛛拿到的页面里可能仍然是旧链接。结果就是：你以为链接已经放出去了，蜘蛛看到的却是上一版内容。
蜘蛛抓到的是缓存还是源站
这取决于 CDN 的缓存策略和请求头。常见情况有几种：
- 缓存未过期：CDN 直接返回缓存，蜘蛛看不到最新链接。
- 缓存过期或未命中：CDN 回源站取最新页面，蜘蛛能看到新链接。
- 强制回源：某些配置会让特定请求绕过缓存，但普通蜘蛛请求通常不享受这种待遇。
所以，入口页更新后是否能被蜘蛛及时发现，不只看你改没改 HTML，还要看 CDN 什么时候把旧副本换掉。
怎么判断入口页是否被缓存
可以用几个简单方法做初步判断：
- 用命令行请求入口页，看响应头里有没有 Age、X-Cache、CF-Cache-Status 等字段。
- 对比不同地区或不同节点的返回内容，看链接是否一致。
- 在入口页更新后，立即抓取一次，看返回的 HTML 里有没有新 URL。
- 如果条件允许，查看源站访问日志，确认 CDN 是否回源。
这些方法只能说明“当前这次请求”拿到的是什么，不能保证蜘蛛下一次抓取一定命中同一份缓存。
更新链接后可以做什么
目标不是“骗过缓存”，而是让最新入口页更可能被蜘蛛拿到。可以考虑：
- 更新入口页后，主动刷新 CDN 缓存，尤其是入口页 URL。
- 合理设置缓存时间，入口页这种经常变动的页面不要设太长。
- 把入口页 URL 做成带版本或带参数的地址，但要注意别制造大量重复页面。
- 用 sitemap 或其他 URL 提交方式做补充，不要只依赖入口页里的链接。
- 观察服务器日志，确认蜘蛛是否真的抓到了新版本，而不是只看“提交成功”。
需要提醒的是，这些操作只是提高新链接被看到的概率，并不等于蜘蛛一定会抓、一定会收录。
常见误区
误区一：我改了源站，蜘蛛就马上能看到
不一定。只要 CDN 还在返回旧缓存，蜘蛛看到的就还是旧页面。源站更新和 CDN 更新是两件事。
误区二：刷新一次缓存就永久有效
缓存刷新通常只影响当前节点或当前副本。后续请求是否回源，仍取决于缓存策略、过期时间和 CDN 的调度。
误区三：入口页有链接就等于 URL 被发现
发现只是第一步。蜘蛛还要决定是否抓取、什么时候抓取。缓存问题解决后，也只代表入口页里确实有链接可被看到。
把 CDN 缓存当成 URL 发现链路中的一环来检查：入口页是否更新、CDN 是否返回新版、蜘蛛是否实际抓到。三步都确认，比只盯一个“提交”动作更可靠。
如果你发现入口页链接已经换了，但搜索蜘蛛迟迟没有动静，可以先从 CDN 缓存和响应头查起。很多时候问题不在蜘蛛池本身，而在蜘蛛看到的那份页面根本不是最新版。