蜘蛛池运行一段时间后，日志里会出现各色访问者：有的带着 Googlebot、Bingbot、YandexBot 的 UA，有的只留一个空 UA，还有的 UA 看起来像浏览器但请求路径又很奇怪。如果把这些请求全部算成“蜘蛛抓取”，后续关于抓取效率、入口页健康度的判断都会偏。所以第一步不是加量，而是先分清楚谁是真蜘蛛。
为什么 UA 不能作为唯一依据
UA 字符串是请求方自己写的，改起来几乎没有成本。一段几十行的脚本，就能把 UA 伪装成主流搜索引擎。反过来说，一些正常的抓取工具也可能用非主流 UA。因此 UA 只能当初步筛选条件，不能当结论。
比较稳妥的做法是把核验拆成三层：请求头、IP 与网络归属、访问行为。三层都对得上，才归为高可信；只有一层对得上，就先放进“待观察”。
第一层：请求头里的信号
- UA 是否完整：主流搜索引擎的 UA 通常结构完整，带版本与平台信息。只写“Googlebot”几个字母的，多半是伪造。
- Accept、Accept-Encoding 是否稳定：真实蜘蛛的请求头相对固定，如果每次都不一样，值得留意。
- 是否请求 robots.txt：正规蜘蛛在抓取新站点前通常会读一次；完全不读、并且明显无视规则的，可信度会下降。
第二层：IP 与网络归属
UA 可以伪造，IP 想长期伪装成搜索引擎官方出口却很难。核验时通常看这几点：
- 反向 DNS 反查：对访问 IP 做 PTR 查询，看域名是否落在搜索引擎自己的域里，再做一次正向解析确认能对上。
- ASN 与官方 IP 段：主流搜索引擎会公布自家爬虫的 IP 段，可以定期比对；不在名单里的，先标注为待确认。
- 归属地：如果访问 IP 的归属地和你投放的语种市场长期不匹配，可以留意，但不要仅凭这一点下结论。
第三层：访问行为
- 抓取节奏：真蜘蛛通常有相对稳定的并发与间隔，不会在几秒内把入口页刷几百次。
- 请求路径：真蜘蛛会顺着链接层层往下走；假流量往往只盯着少数几个固定 URL。
- 资源请求：部分搜索引擎会连带抓取页面里的 CSS、JS、图片。完全不请求任何资源的，可信度略低。
- Referer 与 Cookie：蜘蛛一般不带 Referer，也不保留会话 Cookie。带着完整会话信息的请求，多半不是蜘蛛。
容易踩的三个误判
把数据中心 IP 一概当成假蜘蛛
很多搜索引擎的爬虫本身就部署在数据中心，而不是住宅宽带。只看“是不是机房 IP”，会误伤大量真实抓取。
把低频访问当成假蜘蛛
新入口页、新域名在前几天抓取量本来就不高。低频不等于伪造，要结合 IP 和请求路径一起看。
把某个 UA 当成唯一真身
搜索引擎会同时使用桌面、移动、图片、新闻等多个爬虫 UA。只认一个，会把其他正常抓取排除在外。
把核验写进日志和看板
- 日志里固定记录：完整 UA、IP、请求路径、状态码、响应时间、是否请求 robots.txt。
- 每天跑一次 IP 名单比对，把请求分成“高可信”“待观察”“疑似伪造”三类。
- 看板上分别统计三类的请求量，而不是只统计一个总数。
- 当“疑似伪造”数量突然上升时，先看入口页是否被第三方镜像或公开采集，再考虑技术层面处理。
核验的目的是让数据更接近真实，而不是追求一份绝对干净的名单。任何单一信号都可能有例外，把多个信号叠加起来看，判断才稳。
分完之后怎么用
高可信的抓取量，可以用来判断入口页是否被正常发现；待观察的部分，可以单独建一组入口页做对比；疑似伪造的流量，更适合从限速、人机校验等角度去处理，而不是直接当成抓取成绩。把这三类分开看，蜘蛛池的运营决策才不会建立在一个被放大的数字上。