标簽：反向代理

蜘蛛池與 CDN、反向代理：中間层會改變蜘蛛看到什么

蜘蛛池的入口頁往往不止一层中間层：CDN、WAF、反向代理都可能先接手請求，于是同一個 URL 對不同来源返回不同内容。本文梳理缓存與 Vary、频率拦截、回源超时、真實 IP 日誌這几處常见問题，並给出一份上线前後的检查清單，帮助把抓取異常定位到具体是哪一层在起作用。