标簽：爬虫UA驗證

缓存层與蜘蛛抓取：CDN 返回的那份 HTML 是怎么被决定的

蜘蛛抓取到的，不一定是你本地看到的那份頁面。CDN、反向代理和缓存插件會在中間加一层，缓存命中、邊缘节点差异、被缓存的狀態碼都可能让蜘蛛拿到舊内容或错誤响應。本文梳理缓存层影响抓取的几種常见情况，以及用爬虫 UA 做驗證的排查顺序。