标签：爬虫UA识别

搜索蜘蛛抓取：爬虫 UA 分流与 CDN 缓存命中差异造成的抓取内容不一致排查

同一个 URL 被不同 UA 抓到不同内容，往往不是蜘蛛行为异常，而是 CDN 缓存键与爬虫 UA 分流规则叠加的结果。本文给出从抓取日志定位差异、区分源站与边缘层、检查缓存键与识别规则，到修复后验证响应收敛的完整排查顺序。