标签：爬虫UA验证

缓存层与蜘蛛抓取：CDN 返回的那份 HTML 是怎么被决定的

蜘蛛抓取到的，不一定是你本地看到的那份页面。CDN、反向代理和缓存插件会在中间加一层，缓存命中、边缘节点差异、被缓存的状态码都可能让蜘蛛拿到旧内容或错误响应。本文梳理缓存层影响抓取的几种常见情况，以及用爬虫 UA 做验证的排查顺序。