蜘蛛池入口页通常要承受大量请求，站长会开启防火墙、CDN 的 CC 防护或 Nginx 限流。这些措施对恶意流量有效，但配置不当时，搜索蜘蛛也会被拦。表现是抓取量突然下降、日志里只有少量 403、或者蜘蛛只抓首页不抓内页。
一、常见误伤场景
1. UA 黑名单一刀切
有些规则会屏蔽空 UA、python、curl，以及包含“spider”的 UA。但搜索蜘蛛的 UA 往往包含 Googlebot、Bingbot、Baiduspider 等，如果规则里用“bot”或“spider”做关键词拦截，容易误伤。建议不要仅凭 UA 字符串判断，至少结合 IP 验证。
2. IP 频率限制过严
入口页数量多时，蜘蛛可能短时间内请求几十上百个 URL。如果 Nginx 的 limit_req 或 CDN 的 CC 规则设置成“单 IP 每分钟 10 次”，蜘蛛就会被限速甚至封禁。可以观察日志中蜘蛛 IP 的请求间隔，把阈值调到不影响正常抓取的水平。
3. 验证码与 JS 挑战
开启全站验证码、Cloudflare 的 JS 挑战或五秒盾后，普通搜索引擎蜘蛛通常无法执行 JS，会直接拿到挑战页或 403。除非确认蜘蛛能通过，否则不要对入口页目录开启强制挑战。
4. 地域封锁与 IP 段封禁
有些站点只允许国内 IP 访问，或封禁整个云机房 C 段。但 Googlebot 等可能来自海外，部分蜘蛛也会从云厂商 IP 段发起请求。按地域或大段 IP 封禁，容易把蜘蛛一起挡掉。
5. 回源与 CDN 规则冲突
CDN 节点回源时，源站看到的 IP 是 CDN 节点而不是蜘蛛。如果源站只放行搜索引擎 IP，可能拒绝 CDN 回源，导致蜘蛛拿到缓存旧页或错误页。需要同时配置 CDN 回源白名单和真实 IP 获取。
二、怎样判断是否误伤
- 抓取量在开启防护后明显下降，且没有其他改动。
- 访问日志中蜘蛛请求返回 403、429、503 的比例升高。
- 蜘蛛只抓首页或少量入口页，内页几乎不抓。
- 用 curl 模拟蜘蛛 UA 能访问，但真实蜘蛛日志没有记录。
- CDN 后台的“拦截”统计里出现已知蜘蛛 IP。
建议先看日志，不要只看防火墙面板的拦截数。拦截数里可能包含大量扫描器，但关键是有没有搜索蜘蛛。
三、配置建议
- 对已知搜索蜘蛛 IP 段做白名单，并开启反向 DNS 验证，避免伪造 UA。
- 频率限制按 IP 或按 UA 分组，给已验证蜘蛛单独放宽阈值。
- 不要对入口页目录启用强制 JS 挑战和验证码，至少保留一个无挑战的抓取路径。
- 地域封锁只针对明确不需要的流量，不要封禁整个云厂商 IP 段。
- 源站和 CDN 同时配置真实 IP，确保回源请求不被误判。
- 修改规则后观察 3-7 天，看抓取频次和状态码变化，再决定是否收紧。
四、常见误区
第一个误区是把蜘蛛高频抓取当成攻击。蜘蛛对入口页的集中抓取可能是正常发现行为，直接封 IP 会中断后续抓取。第二个误区是只凭 UA 判断，UA 可以伪造，白名单必须结合 IP 验证。第三个误区是开启防护后不检查日志，等到抓取量归零才发现问题。第四个误区是认为 CDN 默认放行蜘蛛，不同 CDN 的默认策略不同，需要逐项确认。
提示：防火墙和限流的目标是过滤恶意流量，不是拒绝所有高频请求。给搜索蜘蛛留一条可验证、可放行的通道，比事后解封更省事。
蜘蛛池入口页的防护配置没有统一模板，关键是分清“正常抓取”和“恶意请求”。先白名单验证，再限流，再考虑挑战；每次调整后看日志反馈。这样既能挡住大部分无效流量，也不容易把搜索蜘蛛挡在门外。