标簽：抓取一致性

搜尋蜘蛛抓取：CDN 缓存與回源响應差异對抓取一致性的核對思路

蜘蛛抓取时看到的往往不是源站内容，而是缓存层返回的副本。本文梳理缓存過期、UA 分流、错誤响應被缓存、robots.txt 與 Sitemap 缓存等常见分叉场景，並给出從源站直连與 CDN 响應對比入手的核對顺序，帮助区分蜘蛛没来和蜘蛛来了但看到舊内容。