入口页日志里出现带搜索蜘蛛 UA 的请求，很多人会直接当成有效抓取。但 User-Agent 只是请求头里的一行字符串，写采集脚本时照着抄一份并不难。如果不加区分，你可能会根据假数据去调整入口页结构，越调越偏。
为什么不能只凭 UA 判断
搜索引擎的蜘蛛 UA 是公开的，任何程序都能声明自己是某个蜘蛛。真正的差别不在“它说自己是谁”，而在“它从哪里来、请求了什么、后续还会不会回来”。前两项可以在日志里核对，第三项需要拉一段时间的数据才能看出来。
另外，同一台服务器上如果同时挂着入口页和目标站，假蜘蛛刷出来的请求会占用带宽和连接数，真实蜘蛛的抓取反而可能被拖慢。所以分辨真假不只是统计问题。
确认真实蜘蛛的四步核对
- 反向 DNS 查询：拿日志里的 IP 做一次反向解析，看解析出的主机名是否符合对应搜索引擎的命名规则。再正向解析一次，确认和原 IP 一致，避免有人伪造 PTR 记录。
- 核对 IP 网段：搜索引擎通常会在官方文档里公布抓取所用的 IP 段或 ASN，把日志 IP 和这些网段比对，比看 UA 可靠得多。规则会变动，以官方最新说明为准。
- 用官方工具验证：几家主流搜索的站长平台都提供抓取验证入口，输入 IP 或 URL 就能得到结论，比自己写正则匹配稳妥。
- 看请求内容：真蜘蛛抓一个页面时，往往还会请求页面里引用的 CSS、JS 或图片等资源，也会定期取 robots.txt。一个只抓 HTML、从不碰静态资源的“蜘蛛”，值得多问一句。
入口页日志里值得警惕的信号
- 同一个或少数几个 IP 在短时间内把入口页反复抓取，频率明显高于正常爬取节奏。
- UA 字符串拼写有细微错误，或者版本号停留在很多年前。
- 从不请求 robots.txt，也不抓取页面里的任何静态资源。
- 只抓固定几条路径，对入口页上其他链接完全不理。
- 请求集中在某个时段爆发，之后就彻底消失。
这些信号单独出现不一定说明问题，但几条同时出现时，基本可以按可疑流量处理，先限速、先隔离，再慢慢核对。
真实身份确认后，还要看有没有跟到目标 URL
确认来访的是真蜘蛛，只解决了“它来过”。对蜘蛛池入口页来说，更关键的是它有没有沿着入口页里的链接，请求你真正想让它发现的目标 URL。可以在日志里按目标 URL 路径筛一遍，看请求时间是否紧跟在入口页抓取之后，返回码是不是 200。
- 如果真蜘蛛抓了入口页却从不跟链，先查入口页链接是否可被抓取、是否被 JS 包裹、是否被 robots 或 meta 规则挡住。
- 如果跟链了但目标 URL 返回 301、404、500，问题在目标 URL 本身，不在入口页。
- 如果抓过一次就不再回访，记录间隔时间，观察目标 URL 内容更新后是否有第二次抓取。
日常可以固定下来的几个动作
- 把入口页访问日志按 IP 和 UA 分开统计，别混在一起看趋势。
- 维护一份可信 IP 段清单，定期按官方文档更新。
- 对可疑 IP 限速或临时拦截，同时保留日志，便于事后判断是否误伤。
- 记录真蜘蛛从入口页到目标 URL 的完整路径，作为评估入口页是否有效的依据。
来访量不等于抓取价值。先确认真实身份，再看它是否跟到目标 URL，这两步都做完，入口页的调整才有依据。