做收录排查时,很容易遇到一种情况:站长工具后台显示的有效页面数、用 site: 查出来的结果数、服务器日志里的抓取量、第三方工具给出的收录数,四个数字各不相同,有的还差得挺远。先别急着怀疑哪一步做错了——这些数字统计的范围、对象和时间本来就不一样,它们大概率都没有“算错”。
真正要做的,是把每个数字对应到什么东西上,再决定用哪一个作为长期观察的基准。
先把手里这几个数字对上号
站长工具的索引报告
这里统计的是搜索引擎自己那一侧的索引条目,通常按“有效”和“已排除”分组。它反映的是索引结果,但存在汇总延迟,也不一定逐条实时更新。
site: 查询的结果数
这是一个估算值,受查询词、地区、数据中心影响较大。它适合用来看有没有、有没有大方向变化,不适合当作精确的收录总数。
服务器日志
日志记的是抓取行为,不是索引结果。蜘蛛来过、抓成功了,只说明这个 URL 被抓取过,是否进入索引是之后的事。反过来,某个 URL 一直没出现在日志里,才更值得留意。
第三方工具与站内埋点
第三方工具的数字多来自自己的爬取或抽样,覆盖面和搜索引擎不完全重合;站内埋点统计的是访问,和索引条目根本不是一回事。这两类数字可以和前几类做交叉参考,但不建议当基准。
同一件事在不同地方被记录下来的时间不同,能解释大部分差异的不是“哪个更准”,而是时间和范围。
时间差是怎么产生的
- 抓取先发生:日志里当天就能看到痕迹。
- 索引随后处理:抓取和进入索引之间隔着一段处理时间,长短不定。
- 报告再汇总:索引报告本身还有更新周期,不是即时的。
- 查询结果有缓存:site: 的数字可能会停留在某个较早的状态。
所以同一次改动,可能在日志里第二天就有反应,在索引报告里要等一两周才看得出来。拿两个处在不同阶段的数字直接对比,很容易得出错误结论。
建议的对照方法
- 选定一个主口径作为长期基准,一般用站长工具的索引报告比较合适,其他数字只作为旁证。
- 固定频率记录,比如每周同一天的同一时间段,把数字抄进一张表里。
- 看趋势,不看绝对值。连续几周的走向比某一天的数字有意义得多。
- 出现变化时,用日志去验证关键页面:是抓取少了,还是抓取没变但索引处理变了。
- 在表里顺手记下当时做过的动作,比如提交、改内链、调整模板。后面回溯时会省很多事。
几个常见的误判
- 看到 site: 数字下降就以为被大量删除,其实可能只是估算值波动或缓存刷新。
- 看到日志抓取量上涨就以为收录变好,其实可能只是低价值 URL 被反复抓。
- 看到“已排除”数量多就紧张,其中不少是有意挡掉的参数页、测试页,属于正常状态。
- 看到第三方工具数字偏高就以为收录更好,它可能把同一页面的多种 URL 写法分别计数了。
把口径和时间差这两件事写清楚,收录数字的波动会好解释很多。下次再看到几个数字对不上,先问一句:它们统计的到底是什么,统计到哪一天为止。