很多站点在接入 WAF、CDN 或云防护后，会看到搜索蜘蛛的抓取量下降，第一反应是服务器或 DNS 出了问题。实际上，安全策略把正常抓取误判成攻击，是很常见的原因。它不是“防护没用”，而是规则没有给蜘蛛留出可识别、可通行的通道。
先分清：防的是攻击，不是所有自动请求
WAF 的默认策略通常针对高频请求、异常 UA、可疑参数、非常用地区等特征。搜索引擎蜘蛛也属于自动请求，如果频率、IP 段或请求头触发了规则，就可能被返回 403、406、429 甚至 503。这类响应和真实的服务器错误很容易混淆，需要从日志和防护面板两边对照看。
怎么判断抓取被安全策略挡了
- 服务器访问日志里，蜘蛛 IP 的请求大量返回 403、406、429 或 503，而同一时间普通用户访问正常。
- WAF 或 CDN 日志中能看到规则命中记录，拦截原因常写着“高频访问”“可疑 UA”“地区限制”“CC 防护”等。
- 用站长平台的抓取测试或模拟蜘蛛请求，结果与真实蜘蛛日志不一致。
- 防护规则调整后，抓取量、收录量或日志中的蜘蛛请求数出现同步变化。
放行策略要分层，不要一关了之
发现误伤后，直接把 WAF 全关掉并不可取。更稳妥的做法是分层放行：
- 验证来源，不只信 UA。 UA 可以伪造，最好结合官方公布的 IP 段、反向 DNS 解析结果和请求行为综合判断。
- 对已验证蜘蛛放行主要路径。 首页、栏目页、文章页、sitemap、robots.txt 等应允许正常抓取，但不必对全站所有接口都开放。
- 保留基础防护。 针对登录、搜索、提交、后台等敏感路径继续限制，不要因为放行蜘蛛而把攻击面一起放开。
- 限速要留余量。 有些 CC 规则把单 IP 频率设得很低，蜘蛛连续抓几个页面就被拦。可以按 IP 段或已验证来源设置更合理的阈值。
- 避免验证码和 JS 挑战。 蜘蛛通常不会执行复杂交互，这类验证会直接导致抓取失败。
几个容易踩的坑
- 只按 UA 白名单放行，结果被伪造 UA 的请求绕过，或者误放行恶意流量。
- 开启地区封禁后，海外蜘蛛或使用多地节点的搜索引擎被一起挡住。
- CDN 把 403、429 错误页缓存下来，后续正常请求也拿到拦截结果。
- 防护规则变更没有记录时间点，出问题后很难定位是哪条规则生效导致。
安全防护和搜索引擎抓取并不是二选一。关键是把“识别”做在前面，把“放行”做细，而不是等抓取量掉了再全站关闭防护。
误伤后的恢复步骤
先对照防护日志和服务器日志，确认拦截规则和生效时间；能回滚就先回滚可疑规则，再逐步加回。把已验证的蜘蛛来源加入白名单，并检查 CDN 是否缓存了错误响应。之后观察几天抓取日志，看 403、429 是否回落，蜘蛛是否重新访问重要页面。如果站点有站长平台，可以提交重新抓取或抓取诊断，但不要把它当成收录承诺，它只是帮助确认通道恢复。
最后，建议把安全策略纳入日常运营检查：规则变更留记录，蜘蛛访问和拦截数据定期看，白名单定期复核。这样既能挡住恶意请求，也不至于把正常抓取长期挡在门外。