标签：反向代理

蜘蛛池与 CDN、反向代理：中间层会改变蜘蛛看到什么

蜘蛛池的入口页往往不止一层中间层：CDN、WAF、反向代理都可能先接手请求，于是同一个 URL 对不同来源返回不同内容。本文梳理缓存与 Vary、频率拦截、回源超时、真实 IP 日志这几处常见问题，并给出一份上线前后的检查清单，帮助把抓取异常定位到具体是哪一层在起作用。