做蜘蛛池的人几乎每天都会看 access log。日志里 UA 一栏写着 Baiduspider、bingbot 的请求往往能占一大半，看起来热度不错。但把这些请求按 IP 归一下类，问题就出来了：真正来自搜索引擎的只占其中一部分，剩下的是扫描器、采集器，以及把自己的 UA 改成蜘蛛模样的普通爬虫。
为什么日志里的「蜘蛛」不等于真蜘蛛
UA 字符串是客户端自己声明的一段文本，改起来没有任何门槛。任何一个用 Python、Go 写的爬虫，都能在请求头里填上 Baiduspider。反过来，部分正常的浏览器或中间层也可能因为配置原因带上奇怪的 UA。
这意味着两件事：一是把假蜘蛛当成真蜘蛛，会误判入口页的效果，觉得「蜘蛛来了但没收录」，实际上是搜索引擎根本没来过；二是把真蜘蛛当成假蜘蛛拦掉，入口页铺得再多也白搭。
三种可用的识别手段
1. 逆向解析（最可靠的一层）
主流搜索引擎都提供基于 IP 的验证方式。基本思路是把来访 IP 做一次反向 DNS 查询，看解析出的域名是否属于对应引擎自己的域名后缀；为防伪造，通常还要对解析出的域名再做一次正向查询，确认能指回原 IP。Google 另外公开了 Googlebot 的 IP 段列表，可以定期拉取比对。
这一层的结论最硬：IP 对不上，UA 写得再像也不是官方蜘蛛。代价是每次请求都要查询，实际落地时一般会做本地缓存，或者只对可疑请求做校验。
2. UA 字符串（快速过滤）
直接匹配 UA 里的关键词是最省事的做法，但只能当粗筛。它适合把明显不相关的流量先分出去，不适合作为唯一依据。还要注意移动版与桌面版蜘蛛的 UA 通常不同，别只匹配一个就以为覆盖全了。
3. 行为特征（辅助判断）
- 请求节奏：真蜘蛛的抓取通常有节流，不会在几秒内把整站刷一遍。
- 请求范围：真蜘蛛会读 robots.txt，会顺着链接走；只盯着某几个入口页反复刷的，多半不是。
- 请求头完整度：Accept、Accept-Encoding 等头部缺失或不合理的，值得怀疑。
- 会话特征：真蜘蛛一般不带 Cookie、不执行登录态，这一点和普通用户差别明显。
在蜘蛛池入口页怎么落地
- 日志里打全字段。至少保留 IP、UA、请求路径、状态码、响应时间、Referer。缺了 IP，后面所有校验都做不了。
- 先分桶再统计。把请求按「官方蜘蛛 / 疑似伪装 / 其他」分成三类，分别统计各入口页的抓取量。混在一起看的数字没有意义。
- 对疑似伪装做限速或拒绝。这一步以保护服务器资源为主，不必激进。
- 校验结果回写到监控里。按天看真蜘蛛的抓取趋势，比看总量更能反映入口页是否还有效。
几个常见误区
- 把 UA 当成身份。UA 是声明，不是证明。
- 拦得太狠。部分 CDN 或中间层会改写 UA，一刀切拦截可能误伤正常蜘蛛。
- 只看数量不看路径。真蜘蛛来了但只在首页打转，说明内部链接结构有问题，不是 UA 的问题。
- 用一份规则管所有引擎。不同引擎的验证方式和 IP 段都不一样，规则要分开维护。
UA 校验解决的是「来的是谁」，解决不了「来了之后留下什么」。它更适合作为诊断工具，而不是效果指标。
使用建议
给入口页配一套轻量的校验逻辑就够了：UA 粗筛 + IP 逆向解析兜底 + 行为特征做参考。把结果沉淀成按天、按入口页的抓取曲线，长期看比任何单点判断都可靠。如果某天真蜘蛛的抓取量突然归零，先查服务器是否被墙、状态码是否异常，再去怀疑入口页本身。
另外要清楚一点：识别出真蜘蛛，只说明入口页被访问过。入口页的内容质量、链接指向、更新节奏，才决定蜘蛛愿不愿意继续往下走。UA 校验做得好，能让你少走很多冤枉路，但它本身不是效果。