跑蜘蛛池的人大多会看入口页的访问日志。日志里天天有 Googlebot、Bingbot、Baiduspider 的记录，但这不代表这些访问都来自真正的搜索引擎爬虫——UA 只是请求头里的一行纯文本，任何人用命令行工具加一个参数就能写上。分不清真假，后面的抓取量统计、入口页调优都会建立在错误的数据上。
假蜘蛛一般从哪来
入口页日志里出现冒充搜索引擎的访问，常见来源有几类：
- 通用采集与扫描工具：批量遍历全网，会轮换使用常见蜘蛛 UA，目的通常是抓内容或探测漏洞；
- 第三方监控或竞品分析：想看你的入口页结构、链接布局和更新节奏，用假 UA 规避拦截；
- 自己人的测试请求：用抓取工具模拟访问，忘了在日志里区分，结果混进了正式统计。
真蜘蛛和假蜘蛛的差别，通常不在 UA 字符串本身，而在来源 IP 和访问行为上。
三种可落地的验证方法
一、反向 DNS 正反查
Google 和 Bing 都在帮助文档里说明过这种验证方式。做法是：对访问来源 IP 做一次反向解析，得到主机名之后，再对这个主机名做一次正向解析，看解析结果是否回到同一个 IP。Googlebot 的主机名通常以 googlebot.com 或 googleusercontent.com 结尾，Bingbot 则与 search.msn.com 相关。只有正反两次解析都吻合，才能算通过验证。
二、比对官方公布的 IP 段
主流搜索引擎都会公布自己的爬虫 IP 段，一般以 JSON 或纯文本列表的形式提供。百度、Google、Bing 都能在各自的搜索帮助文档或搜索资源平台里找到对应入口。拿到列表后，把它导入日志分析流程，逐个判断来源 IP 是否落在段内。注意这类列表会更新，建议定期重新拉取，而不是一次性写死进配置文件。
三、看行为特征，作为辅助判断
- 真蜘蛛很少在几秒内把入口页的所有链接全部点一遍，节奏通常相对平缓；
- 真蜘蛛会按规则读取并遵守 robots.txt，请求路径也集中在可抓取的内容上；
- 假蜘蛛经常顺手去请求 /wp-login.php、/.env、/admin、/xmlrpc.php 这类与内容抓取无关的路径；
- 真蜘蛛的访问间隔和抓取深度有规律，假蜘蛛的请求序列往往集中在短时间内的批量请求上。
行为特征只能作为参考，不能单独下结论。它的价值在于：当 IP 验证因为列表延迟、CDN 转发等原因无法立刻判定时，提供一个判断方向。
验证完之后要做什么
- 日志分列：把来源 IP、UA、验证结果、请求路径整理到同一张表里，真蜘蛛和疑似伪造的访问分开统计；
- 重新核对抓取量：把假蜘蛛剔除后，再去看入口页每天被真实蜘蛛访问了多少次、目标 URL 被跟进的比例如何，之前偏高的数据往往会在这一步回落；
- 处理伪造访问：在 Nginx、防火墙或 WAF 层面，对未通过验证却自称蜘蛛的 IP 做限速或拒绝，避免它们继续消耗入口页的带宽和连接数；
- 保留放行名单：把通过正反查验证的 IP 段加入白名单，避免误伤正常抓取。
不要只凭 UA 就放行，也不要图省事把整段 IP 范围永久拉黑。搜索引擎的 IP 段会调整，定期重新获取列表、并保留一份验证记录，比一次性写死规则稳妥得多。
几个容易踩的坑
- 把 CDN 或反向代理的回源 IP 当成蜘蛛 IP：入口页前面挂了 CDN 时，日志里记录的可能是节点地址，需要看 X-Forwarded-For 或真实 IP 头；
- 只看反向 DNS 不看正向解析：伪造者可以给自己的 IP 配一个看起来像样的 PTR 记录，两步都做才有效；
- 验证结果只留一份：验证逻辑最好脚本化，每天固定跑一次，比人工抽查可靠；
- 把验证当成抓取量下降的解释：如果真蜘蛛数量本身就少，验证只能让数据更准确，并不能让蜘蛛变多。
判断真伪是入口页运营的基础工作。数据干净了，再去讨论入口页链接怎么摆、更新频率怎么定，才不会在错误的前提上反复调整。