入口页日志里出现 Baiduspider、Googlebot、bingbot 这类字样，并不代表真的搜索蜘蛛来了。User-Agent 只是一段请求头文本，采集脚本、漏洞扫描器、压测工具都可以照抄。反过来，如果防护规则写得太死，真正的搜索蜘蛛也可能被挡在门外，结果就是入口页有记录、目标 URL 迟迟不抓。先分辨真假，再谈处理。
为什么不能只看 User-Agent
UA 字符串没有校验机制，任何人都能伪造。看到 UA 里带 spider、bot 就放行，或者看到陌生 UA 就一律拦截，都不是可靠做法。真正需要的是把 UA、来源 IP、行为特征结合起来判断。
验证搜索蜘蛛真伪的常用方法
反向 DNS 加正向回查
主流搜索引擎的抓取 IP 一般都有对应的 PTR 记录。做法是：拿到访问 IP，先做反向解析拿到主机名，再把这个主机名正向解析回 IP，两次结果对得上才可信。只做反向解析不够，因为 PTR 记录本身也可以伪造。
- Googlebot：主机名通常以 googlebot.com 或 google.com 结尾
- Bingbot：主机名通常以 search.msn.com 结尾
- 百度蜘蛛：部分 IP 段可以反向解析到 baidu.com 相关域名，但不是所有段都完整
各家的解析规则会调整，实际以官方文档公布的验证方式为准。
核对官方公布的 IP 段
Google 和 Bing 都提供公开的 IP 段列表，格式多为 JSON 或 XML，可以定期拉取后与日志比对。百度也公布过蜘蛛 IP 段，适合用来做初筛。这种方式便于批量处理日志，但不适合实时拦截，因为列表本身会有更新延迟。
看行为特征
真蜘蛛通常有比较稳定的抓取节奏：要么按固定间隔小批量抓，要么在站点更新后集中抓一轮。而伪装者往往一次刷大量 URL、只盯特定路径（后台、接口、配置文件），或者并发高得离谱。某个来源在短时间内反复请求同一批 URL，却从不取任何静态资源，就值得多留个心眼。
看是否请求静态资源
搜索引擎渲染页面时，一般会连带请求 CSS、JS、图片等资源。如果某个来源只请求 HTML，从不取任何资源，多半不是真的。不过这只能作为辅助判断，因为部分抓取确实只取 HTML。
真蜘蛛被误封的常见原因
- CDN 或 WAF 的默认防护规则把高频抓取当成攻击，直接返回 403 或验证码
- 服务器层面的并发限制、连接数限制把蜘蛛连接掐断
- 根据 UA 关键词做黑名单，误伤了正常 UA
- 对境外 IP 统一限流，顺带挡住了部分搜索引擎节点
- 入口页本身正常，但目标站防火墙单独拦了蜘蛛，看起来像抓取卡住
如果是目标站被拦，入口页日志会一切正常，目标站的访问日志里却看不到对应记录。这种情况要分别检查入口页和目标站两边的防护配置，而不是只盯着一侧。
一套可执行的排查流程
- 从入口页和目标站日志里筛出疑似搜索蜘蛛的请求，记录 IP、UA、时间和请求路径
- 对可疑 IP 做反向解析和正向回查，确认是否属于搜索引擎
- 与官方 IP 段列表比对，交叉验证
- 确认真蜘蛛被拦后，在 WAF、CDN、服务器层面加白名单，或适当放宽频率限制
- 确认为伪装流量后，再按异常请求处理，不要一刀切封掉整段 IP
- 调整后观察几天，看目标 URL 的抓取是否恢复
无论验证结果如何，都不要把这份工作理解成收录的保证。它解决的是抓取通道是否通畅的问题，是否被收录还取决于目标页本身的内容质量、站点整体状况和搜索引擎的判断。
最后提醒一点：入口页和目标站的日志最好都保留，并且留存足够长的时间。判断抓取卡在哪一环，靠的就是两边日志能不能对得上。只看一边，很容易把问题归错地方。