网站收录

site 命令、平台索引量和抓取日志对不上:判断收录时该信哪个数字

site 命令、站长平台索引数据和服务器日志说的其实是三件事。本文拆解三个口径分别统计什么、为什么经常对不上,并给出一套用趋势代替绝对值、交叉核对的排查顺序,减少把抓取波动误当成收录异常的判断失误。

网站收录

site 命令、平台索引量和抓取日志对不上:判断收录时该信哪个数字

做收录判断时,最常遇到的困惑是三个数字对不上:site 命令给出的数量、站长平台里的索引量、服务器日志里的抓取记录。它们本来就不是一回事,混着用很容易得出错误结论,甚至做出没必要的改动。

三个口径分别在数什么

  • site 命令:对外给出的粗略估算,不是精确库存。同一时间不同地区、不同终端、换一个查询方式,结果都可能变化,通常也只展示前若干条。
  • 平台索引数据:统计的是已经处理并进入索引的 URL 数量,按天更新、有延迟,而且只覆盖该搜索引擎自己的数据,换一家搜索引擎数字完全不同。
  • 服务器日志:记录的是抓取行为。蜘蛛来过、把 HTML 取走了,不代表这个 URL 会被收录,更不代表会被展示。

所以「site 数字掉了一半」和「平台索引量基本没变」同时出现,是完全可能的,不必立刻当成事故处理。

抓取记录能说明什么、不能说明什么

日志的价值在于结构和趋势,而不在总数。它能告诉你:哪些目录被反复抓、哪些页面一直没人碰、抓取时间集中在什么时候、返回码里有多少 404 和 5xx。这些信息对判断问题方向很有效。

但它不能直接推出收录结果。一次抓取之后,页面还要经过内容处理、去重、质量判断等环节,才可能进入索引。把抓取次数当成收录数,是这类误判里最常见的一种。

  • 被大量抓取的 URL,往往是列表页、筛选参数页这类模板生成的地址,它们本来就不该按内容页去期待收录。
  • 长期零抓取的目录,更值得关注,问题通常出在入口链接、内链权重或 robots 规则上。

把绝对值换成趋势

三个口径都不适合看单点数值,适合看一周到一个月的变化方向。判断时可以这样用:平台索引量看整体盘子的走向,site 命令只看量级有没有跳变,日志看抓取是否覆盖到了重点目录。

如果索引量缓慢上升、日志里重点目录持续被抓,即便 site 数字某天波动,也通常属于正常调整。反过来,索引量长时间不动、重点页面在日志里也看不到抓取,才需要动手排查。

一个可用的交叉核对顺序

  1. 先确认目标:是要看整站收录规模,还是某批新页面的收录进度。两者用的口径不一样。
  2. 用平台数据划定范围,挑出确实未被索引的 URL 清单。
  3. 拿这批 URL 去日志里比对,看是否被抓过、抓取频率如何、返回码是否正常。
  4. 被抓过但未收录,重点看页面本身:内容是否单薄、是否与站内其他页面高度相似、是否有明确入口。
  5. 完全没被抓过,重点看发现路径:内链、sitemap、栏目层级,以及是否被规则意外挡住。

这套顺序的意义在于,每一步都指向不同的处理方向,避免在还没确定问题在哪一环时就开始改页面。

几个容易误判的情况

  • 把新页面刚上线几天没有收录当成异常,实际上处理本身就需要时间。
  • 看到 site 数字下降就急着提交、改 URL,反而打乱了原有结构。
  • 把不同搜索引擎的索引量放在一起比较,得出「被降权」的结论。
  • 只看总数,不看是哪些目录在变化,错过了真正的问题位置。
收录相关的数字,先分清它统计的是抓取、是索引还是估算,再决定要不要反应。多数时候,趋势和结构比某一个具体数值更有参考价值。