做蜘蛛池的时候，很多人把注意力放在入口页本身——内容、结构、更新频率都调过了，日志里却还是不热闹。这时候不一定是页面出了问题，而是请求在到达页面之前就被挡掉了。CDN 和 WAF 处在服务器前面，它们只认“像不像异常流量”，不认“你是搜索引擎蜘蛛”，误伤是常有的事。
被误伤时的常见表现
- 蜘蛛日志里长时间只有零星几条，或者干脆归零，但其他监测工具的请求一切正常。
- 换一个 IP 或换一段解析，抓取量突然回暖。
- 同一批入口页，部分正常、部分完全没有动静，通常和节点分布有关。
- 返回码集中在 403、429、503，个别情况是 200，但拿到的内容是一张验证页。
CDN 层的几个误伤点
CDN 的默认配置大多偏向“防护”，对蜘蛛并不友好：
- 频率限制：同一 IP 短时间内的大量请求会被判定为异常。蜘蛛从固定出口 IP 抓取大量页面，很容易触发这条。
- 人机校验：部分节点会对可疑请求下发 JS 挑战或验证码页。蜘蛛不执行 JS，拿到的就是一张空壳页。
- 地理位置与 IP 段封禁：蜘蛛出口 IP 的归属地相对固定，如果恰好落在节点屏蔽名单里，请求会被直接拒掉。
- 回源失败被掩盖：源站出问题时，CDN 返回自己的错误页，日志里看不到真实原因。
WAF 层的误伤点
WAF 的规则基于特征匹配，批量模板站容易出现“看起来很可疑”的特征：
- URL 里带大量参数，或者看�上去像随机字符串的路径。
- 请求头过于统一，缺少常见的浏览器头字段。
- 同一个 UA 在极短时间内请求大量路径。
另外，有些 WAF 会把蜘蛛 UA 列入“可伪造名单”，默认不信任，对这类请求反而更严格。
怎么确认问题出在安全策略上
- 用带蜘蛛 UA 的请求直接测入口页，看响应码和响应体，再和浏览器访问的结果做对比。
- 绕过 CDN，直接绑定源站 IP 访问。如果正常，说明问题出在前面一层。
- 查看 CDN 或 WAF 的拦截日志，多数平台会记录被拦原因，例如“频率超限”“规则命中”。
- 对比多个 IP 的结果。如果只是某一批被封，说明是 IP 段级别的问题，而不是页面本身的问题。
调整思路
- 验证来源后放行：通过反向 DNS 或官方 IP 段列表确认来源，再对确认过的段做白名单。不要只凭 UA 放行。
- 放宽频率阈值：针对已确认的蜘蛛出口 IP，单独设置更高的速率上限，或让这部分请求跳过频率规则。
- 单独的解析线路：条件允许的话，可以让入口页的一部分解析不经过 WAF，专门用来承接蜘蛛请求。
- 关掉对蜘蛛的 JS 挑战：入口页本身不该依赖 JS 渲染，安全层也不该给不执行 JS 的客户端发挑战页。
验证来源，比“看到一个叫 Googlebot 的 UA 就放行”重要得多。UA 是最容易伪造的东西，白名单写错等于给自己开了个口子。
几点使用建议
- 上线前先做一次“蜘蛛视角”的访问测试，确认响应码、响应体和响应头都正常。
- 把安全策略的调整记录在案，否则以后排查问题时，没人知道曾经改过什么。
- 不要为了“让蜘蛛好过”就整体关掉防护，只针对确认过的来源做例外。
- 抓取量异常下降时，先看安全层，再回头看页面和内容。顺序反了会浪费很多时间。
入口页做得再细，请求进不来也是白搭。CDN 和 WAF 是容易被忽略的一环，但它们往往决定了蜘蛛看到的到底是你精心准备的页面，还是一张验证码截图。