标签：抓取一致性

搜索蜘蛛抓取：CDN 缓存与回源响应差异对抓取一致性的核对思路

蜘蛛抓取时看到的往往不是源站内容，而是缓存层返回的副本。本文梳理缓存过期、UA 分流、错误响应被缓存、robots.txt 与 Sitemap 缓存等常见分叉场景，并给出从源站直连与 CDN 响应对比入手的核对顺序，帮助区分蜘蛛没来和蜘蛛来了但看到旧内容。