入口页打不开、返回 403，或者只有零星几次抓取记录，很多时候不是内容或链接的问题，而是请求在到达源站之前就被 CDN 或 WAF 拦掉了。蜘蛛池的入口页通常批量部署、域名多、访问来源集中，很容易触发防护策略里的频率和信誉规则。下面按“先确认拦截点，再逐条放行”的顺序说一遍。
先确认蜘蛛到底停在哪一层
入口页的请求链路一般是：蜘蛛 → DNS → CDN 边缘节点 → 源站。判断拦截发生在哪一层，可以看两个信号：源站日志里有没有对应记录、CDN 日志里返回的是什么状态码。
- 源站完全没有记录，CDN 日志里是 403、405 或 429：拦截在边缘。
- 源站有记录但耗时很长：可能是回源超时或源站自身限速。
- 两边都是 200，但蜘蛛迟迟不回来：更可能是内容或链接结构的问题，不是拦截。
最常误伤蜘蛛的几类规则
- 频率阈值：按 IP 或按 UA 统计的 QPS 限制，蜘蛛单 IP 抓取时容易踩线。
- UA 黑名单：把某段字符串一刀切，容易误伤正常爬虫。
- JS 挑战与人机校验：蜘蛛不执行 JS，拿到的是挑战页而不是内容。
- IP 信誉库：机房 IP 段被整体标记为高风险，连带被拦。
- 地域封禁：蜘蛛出口 IP 所在地区被规则覆盖。
放行蜘蛛的几种做法
1. 验证之后再放行
不要只看 UA。比较稳妥的做法是先做反向 DNS 解析，确认域名归属，再用正向解析核对 IP，两者对得上才进入白名单。这套验证可以放在 CDN 的边缘规则里，也可以放在源站前置一层。
2. 单独拎出一条不参与频控的策略
给通过验证的蜘蛛设置独立规则：不计入全站 QPS 统计、不触发人机校验、不命中 IP 信誉拦截。规则要写在通用拦截之前，否则会被后面的策略覆盖掉。
3. 入口页尽量走缓存
入口页多为静态或半静态内容，回源压力不大。缓存命中率高，边缘响应快，蜘蛛拿到首字节的时间短，抓取节奏也更稳。注意缓存键不要把 UA 或 Cookie 写进去，否则缓存会被打散，命中率反而下降。
回源与超时也要一起看
放行之后如果源站响应慢，蜘蛛一样会降低抓取。常见原因是回源连接数被限、入口页里的第三方资源拖慢加载、或者源站开了全站限速。可以把入口页的外链资源减少，回源连接数按实际带宽留出余量。
怎么确认放行真的生效
- 用符合验证条件的请求头手动请求一次，看状态码和响应体。
- 对照 CDN 日志和源站日志，确认同一时间点两边都有记录。
- 连续观察几天蜘蛛访问量和状态码分布，看 4xx 是否下降。
放行的目标是让蜘蛛稳定拿到正常页面，而不是给它开一条无限制的通道。规则越窄越容易维护，也越不容易被滥用。
几个使用建议
- 白名单按 IP 段维护，并保留定期复核的机制。
- 不要为了省事直接关掉整个 WAF，攻击流量会一起进来。
- 入口页与源站分开部署时，两边都要放行，缺一层就前功尽弃。
CDN 和 WAF 本身不是问题，问题在于默认策略是为普通用户设计的，很少替蜘蛛考虑。把验证、放行、缓存、回源这几件事分开处理，入口页的抓取状态才有机会稳定下来。