把入口頁直接放在服務器上對外，是很多蜘蛛池的預設做法。為了让源站 IP 更隐蔽、扛住突發流量，有人會给入口頁套一层 CDN。這個選擇本身没有對错，但它會给蜘蛛的訪問路径增加一個中間层，日誌、缓存、狀態碼都會随之變化。用之前，先弄清楚 CDN 到底改變了什么。
CDN 带来的好處與代價
先说好處。CDN 能在源站前面挡一层，源站 IP 不直接暴露；静態入口頁命中节点缓存後，回源压力明顯下降；遇到掃描或異常流量，节点也能吸收一部分。對于入口頁數量多、頁面以静態為主、又不想让源站直接面對公網的场景，這些收益是實在的。
代價同样明顯。蜘蛛請求到達的是 CDN 节点，不再直接命中源站。你看到的訪問日誌里，绝大部分訪問来源會變成 CDN 回源 IP，而不是蜘蛛或普通用戶的真實 IP。回源鏈路變長之後，TTFB 可能上升；如果节点缓存和源站缓存策略不一致，蜘蛛還可能拿到一份過期的頁面副本。
回源配置：先解决“蜘蛛是谁”
只要你打算根據訪問来源做判断——比如给蜘蛛放行、给普通用戶跳轉、按 IP 限速——就必须在 CDN 层把真實 IP 透传下来。常见做法是在回源請求里带上 X-Forwarded-For 或 X-Real-IP，源站按约定字段取值，而不是直接讀 REMOTE_ADDR。寫日誌时也要记錄真實 IP，否則後期分析抓取資料基本無從下手。
還要注意区分两類地址：一類是蜘蛛本体的 IP，一類是 CDN 节点的回源 IP。某些 CDN 會把蜘蛛請求统一回源到固定节点，日誌里會出現大量重复的来源地址，看起来像“蜘蛛只從几個 IP 来”，其實是中間层造成的错觉。判断蜘蛛身份时，不要把回源 IP 当成蜘蛛 IP 去做归属驗證。
缓存與狀態碼：容易被忽略的两個變量
入口頁如果被节点缓存，蜘蛛在不同時間訪問可能拿到不同版本。對需要体現更新的入口頁，缓存時間不宜设得過長。可以给 HTML 设較短的 s-maxage，或者用源站校驗的方式，让节点定期回源確認。内容更新之後，记得主動刷新對應 URL 的缓存，否則蜘蛛反复看到的都是舊内容。
狀態碼透传也值得驗證。源站返回 404、410 或 503 时，CDN 是否原样透传，還是改寫成 200 或自定义错誤頁？如果错誤狀態被改寫，蜘蛛對入口頁可用性的判断就會失真。上线前用工具分別测源站直连和 CDN 地址，對比两者的响應碼與响應头，是最省事的驗證方式。
哪些情况适合用，哪些建议直连
- 适合用 CDN：入口頁以静態内容為主、域名數量多、需要隐藏源站、带宽成本敏感，且不需要按單個 IP 做精细控制。
- 建议源站直连：需要實时、完整的訪問日誌，需要频繁調整抓取行為，或者入口頁更新非常频繁、缓存维護成本高于收益。
- 折中做法：只让部分域名或部分路径走 CDN，核心入口頁保留直连；也可以自建反向代理，把控制權留在自己手里。
CDN 不會改變蜘蛛愿不愿意抓，它改變的是蜘蛛看到的路径、你看到的日誌，以及缓存和狀態碼之間的那层不确定性。
上线前後的检查清單
- 確認回源請求已透传真實 IP，日誌字段與源站取值逻辑一致。
- 對比源站與 CDN 地址的响應头，检查缓存策略是否符合预期。
- 测一遍 404、410、503 等狀態碼，確認没有被节点改寫。
- 刷新缓存後，再观察蜘蛛是否拿到了新版本内容。
- 定期比對 CDN 日誌與源站日誌，找出节点回源與直连之間的差异。
CDN 是工具，不是必選項。入口頁要不要套 CDN，取决于你對日誌精度、更新實时性和源站隐蔽性的優先級。把回源和缓存這两件事配清楚，再决定要不要加這一层，比先套上再排查問题要省事得多。