做蜘蛛池运营，日志和后台数据每天都在看，但很多人把不同来源的数字混在一起比较：用服务器日志里的抓取次数去解释平台显示出的索引量，或者拿入口页数量乘以某个系数去估算收录。数字对不上就开始怀疑程序、怀疑蜘蛛，其实多数时候是统计口径的问题。
三类数字说的不是同一件事
- 抓取量：服务器日志里蜘蛛请求的次数。它包含重复抓取、抓取失败、抓取了却没有产生任何作用的页面。它是“来过多少次”的记录。
- 发现量：蜘蛛第一次看到某个 URL 的次数。它可能来自 sitemap、站内链接、外链或主动提交，但发现不等于抓取，更不等于收录。
- 索引量：搜索引擎侧已经建库、可以被检索到的页面数量。它由对方决定，你只能间接影响。
这三者按时间顺序发生，但衰减很大。一百次抓取可能只对应几十个发现，几十个发现可能只有个位数进入索引。把整条链路压缩成一个数字，必然失真。
口径不统一带来的典型误判
- 日志里蜘蛛请求涨了，就认为收录要涨。实际可能只是蜘蛛在反复抓取同一批已经失效的入口页。
- 索引量掉了，马上去改入口页内容。实际可能是对方调整了建库策略，与你的改动无关。
- 把不同统计周期的数据放在一起比。日志按自然日切，平台报表按周更新，直接相减没有意义。
先确认数字的边界，再讨论涨跌，否则后面的优化动作全是猜。
给自建蜘蛛池定一套可对比的口径
- 固定统计周期。日志、提交记录、索引核对都按同一个时间窗口取数，比如统一以自然日零点为界。
- 抓取量按状态码分层。200、301、404、5xx 分开统计，只看总量会掩盖问题。
- 区分蜘蛛与普通访问。用 UA、IP 段和反向解析交叉确认，别把爬虫工具或监控探针算进蜘蛛抓取。
- 发现量单独记录来源。sitemap、站内链接、外链、主动提交各算一条通道，方便判断哪条路更有效。
- 索引量只做趋势观察。按周记录一次即可，不必每天盯着波动做决策。
记录方式上的几个建议
最好把三类数据放在同一张表里，字段包括日期、入口页分组、抓取次数、成功抓取、发现数、索引数。入口页按批次或按域名分组，而不是全部混在一起，否则某一批页面出问题时，整体曲线看不出来。
另外，给每个入口页保留一个稳定的标识。URL 变更时用 301 指向新地址，旧地址的统计不要立刻删除，保留一到两个观察周期，才能看出替换是否平滑。
指标的意义在于定位问题，不在于凑出一个好看的总数。当数字对不上时，先问一句：这两个数字分别是谁、在什么时间、用什么规则统计出来的。