入口頁打不開、返回 403，或者只有零星几次抓取记錄，很多时候不是内容或連結的問题，而是請求在到達源站之前就被 CDN 或 WAF 拦掉了。蜘蛛池的入口頁通常批量部署、域名多、訪問来源集中，很容易触發防護策略里的频率和信誉規則。下面按“先確認拦截点，再逐條放行”的顺序说一遍。
先確認蜘蛛到底停在哪一层
入口頁的請求鏈路一般是：蜘蛛 → DNS → CDN 邊缘节点 → 源站。判断拦截發生在哪一层，可以看两個信号：源站日誌里有没有對應记錄、CDN 日誌里返回的是什么狀態碼。
- 源站完全没有记錄，CDN 日誌里是 403、405 或 429：拦截在邊缘。
- 源站有记錄但耗时很長：可能是回源超时或源站自身限速。
- 两邊都是 200，但蜘蛛迟迟不回来：更可能是内容或連結结构的問题，不是拦截。
最常誤伤蜘蛛的几類規則
- 频率阈值：按 IP 或按 UA 統計的 QPS 限制，蜘蛛單 IP 抓取时容易踩线。
- UA 黑名單：把某段字符串一刀切，容易誤伤正常爬虫。
- JS 挑战與人机校驗：蜘蛛不执行 JS，拿到的是挑战頁而不是内容。
- IP 信誉库：机房 IP 段被整体标记為高風險，连带被拦。
- 地域封禁：蜘蛛出口 IP 所在地区被規則覆盖。
放行蜘蛛的几種做法
1. 驗證之後再放行
不要只看 UA。比較稳妥的做法是先做反向 DNS 解析，確認域名归属，再用正向解析核對 IP，两者對得上才進入白名單。這套驗證可以放在 CDN 的邊缘規則里，也可以放在源站前置一层。
2. 單獨拎出一條不參與频控的策略
给通過驗證的蜘蛛設定獨立規則：不計入全站 QPS 統計、不触發人机校驗、不命中 IP 信誉拦截。規則要寫在通用拦截之前，否則會被後面的策略覆盖掉。
3. 入口頁尽量走缓存
入口頁多為静態或半静態内容，回源压力不大。缓存命中率高，邊缘响應快，蜘蛛拿到首字节的時間短，抓取节奏也更稳。注意缓存键不要把 UA 或 Cookie 寫進去，否則缓存會被打散，命中率反而下降。
回源與超时也要一起看
放行之後如果源站响應慢，蜘蛛一样會降低抓取。常见原因是回源连接數被限、入口頁里的第三方资源拖慢加载、或者源站開了全站限速。可以把入口頁的外鏈资源减少，回源连接數按實际带宽留出余量。
怎么確認放行真的生效
- 用符合驗證條件的請求头手動請求一次，看狀態碼和响應体。
- 對照 CDN 日誌和源站日誌，確認同一時間点两邊都有记錄。
- 连續观察几天蜘蛛訪問量和狀態碼分布，看 4xx 是否下降。
放行的目标是让蜘蛛稳定拿到正常頁面，而不是给它開一條無限制的通道。規則越窄越容易维護，也越不容易被滥用。
几個使用建议
- 白名單按 IP 段维護，並保留定期复核的机制。
- 不要為了省事直接關掉整個 WAF，攻击流量會一起進来。
- 入口頁與源站分開部署时，两邊都要放行，缺一层就前功尽弃。
CDN 和 WAF 本身不是問题，問题在于預設策略是為普通用戶设計的，很少替蜘蛛考虑。把驗證、放行、缓存、回源這几件事分開處理，入口頁的抓取狀態才有机會稳定下来。