服务器日志里出现大量带蜘蛛 UA 的请求，容易被直接当成“站点被搜索蜘蛛抓取了”。但 UA 是可以随意伪造的，CDN 和反向代理还会改写来源 IP。如果直接拿原始日志做统计，采集器、监控探针和扫描流量都可能被算进抓取量里，后面基于抓取预算做的判断就会整体偏移。
为什么身份核验要放在统计之前
抓取预算的分配、内链的调整、Sitemap 的提交效果评估，前提都是“某个 URL 是否真的被抓过”。这个前提一旦不成立，后续动作很可能对着错误的对象发力：比如真实抓取量其实很低，却被日志总量误导，以为抓取充足，只是收录慢。
三个可落地的核验维度
UA 与请求行为的匹配度
搜索蜘蛛的 UA 相对固定，但只看 UA 没有意义，更值得看的是行为是否一致：是否请求过 robots.txt、是否遵守 robots 中的限制、抓取间隔是否稳定、是否按需抓取 CSS 与 JS 资源。伪装的采集器往往只抓 HTML，且请求节奏紧凑、路径跳跃。
IP 与反向解析
把日志中的 IP 做反向解析，再正向解析回原域名，比对前后是否一致，是判断来源是否可信的基础手段。需要注意的是，站点接入 CDN 后，日志中记录的多是节点回源 IP，而非蜘蛛本身，此时要先确认日志字段记录的是真实客户端 IP 还是代理 IP。
请求头与访问路径
Accept-Encoding、Referer、请求方法与路径分布都能作为辅助线索。真实蜘蛛通常会带完整的协商头，访问路径也更贴近内链结构；而工具流量常出现固定路径、固定间隔、缺少协商头的特征。
常见的误判来源
- CDN 或负载均衡改写来源 IP，导致真实蜘蛛 IP 被替换成节点 IP。
- IPv4 与 IPv6 双栈并存，同一蜘蛛在日志里呈现为两组不同地址。
- 日志按小时聚合或采样存储，峰值抓取被抹平，看起来像低频。
- 爬虫伪装成蜘蛛 UA，混在真实抓取请求中。
- 站点监控探针规则化访问，被误认为蜘蛛回访。
真实抓取量的估算口径
- 先按 IP 段与正反向解析结果过滤，剔除明显不属于搜索蜘蛛的来源。
- 按 URL 去重，并把 HTML 请求与静态资源请求分开统计。
- 按状态码分层，单独看 2xx、3xx、4xx、5xx 各自的占比。
- 区分首次抓取与回访，回访密度比总量更能反映抓取节奏。
- 按目录或页面模板归类，观察抓取是否集中在少数栏目。
经过这几步之后得到的量，才适合用来判断抓取是否集中、深层入口是否长期未被访问。
核验之后的动作
如果核验结果是真实抓取量远低于日志总量，优先排查的是服务器侧是否存在被采集器持续消耗的情况，而不是立刻改内链或加提交入口。反之，若真实抓取存在但集中在列表页，说明抓取路径的分配可能偏向浅层，再去看目录级抓取是否与内容价值匹配，思路会更清晰。
身份核验是抓取分析的前置步骤。未经清洗的日志可以用来观察趋势，但不适合直接作为抓取预算与收录判断的依据。