網站收錄

site 命令、平台索引量和抓取日誌對不上:判断收錄时该信哪個數字

site 命令、站長平台索引資料和服務器日誌说的其實是三件事。本文拆解三個口径分別統計什么、為什么经常對不上,並给出一套用趋势代替绝對值、交叉核對的排查顺序,减少把抓取波動誤当成收錄異常的判断失誤。

網站收錄

site 命令、平台索引量和抓取日誌對不上:判断收錄时该信哪個數字

做收錄判断时,最常遇到的困惑是三個數字對不上:site 命令给出的數量、站長平台里的索引量、服務器日誌里的抓取记錄。它們本来就不是一回事,混着用很容易得出错誤结论,甚至做出没必要的改動。

三個口径分別在數什么

  • site 命令:對外给出的粗略估算,不是精确库存。同一時間不同地区、不同终端、換一個查询方式,结果都可能變化,通常也只展示前若干條。
  • 平台索引資料:統計的是已经處理並進入索引的 URL 數量,按天更新、有延迟,而且只覆盖该搜尋引擎自己的資料,換一家搜尋引擎數字完全不同。
  • 服務器日誌:记錄的是抓取行為。蜘蛛来過、把 HTML 取走了,不代表這個 URL 會被收錄,更不代表會被展示。

所以「site 數字掉了一半」和「平台索引量基本没變」同时出現,是完全可能的,不必立刻当成事故處理。

抓取记錄能說明什么、不能說明什么

日誌的價值在于结构和趋势,而不在總數。它能告诉你:哪些目錄被反复抓、哪些頁面一直没人碰、抓取時間集中在什么时候、返回碼里有多少 404 和 5xx。這些信息對判断問题方向很有效。

但它不能直接推出收錄结果。一次抓取之後,頁面還要经過内容處理、去重、质量判断等环节,才可能進入索引。把抓取次數当成收錄數,是這類誤判里最常见的一種。

  • 被大量抓取的 URL,往往是列表頁、篩選參數頁這類模板生成的地址,它們本来就不该按内容頁去期待收錄。
  • 長期零抓取的目錄,更值得關注,問题通常出在入口連結、内鏈權重或 robots 規則上。

把绝對值換成趋势

三個口径都不适合看單点數值,适合看一周到一個月的變化方向。判断时可以這样用:平台索引量看整体盘子的走向,site 命令只看量級有没有跳變,日誌看抓取是否覆盖到了重点目錄。

如果索引量缓慢上升、日誌里重点目錄持續被抓,即便 site 數字某天波動,也通常属于正常調整。反過来,索引量長時間不動、重点頁面在日誌里也看不到抓取,才需要動手排查。

一個可用的交叉核對顺序

  1. 先確認目标:是要看整站收錄規模,還是某批新頁面的收錄進度。两者用的口径不一样。
  2. 用平台資料划定范围,挑出确實未被索引的 URL 清單。
  3. 拿這批 URL 去日誌里比對,看是否被抓過、抓取频率如何、返回碼是否正常。
  4. 被抓過但未收錄,重点看頁面本身:内容是否單薄、是否與站内其他頁面高度相似、是否有明确入口。
  5. 完全没被抓過,重点看發現路径:内鏈、sitemap、栏目层級,以及是否被規則意外挡住。

這套顺序的意义在于,每一步都指向不同的處理方向,避免在還没确定問题在哪一环时就開始改頁面。

几個容易誤判的情况

  • 把新頁面刚上线几天没有收錄当成異常,實际上處理本身就需要時間。
  • 看到 site 數字下降就急着提交、改 URL,反而打乱了原有结构。
  • 把不同搜尋引擎的索引量放在一起比較,得出「被降權」的结论。
  • 只看總數,不看是哪些目錄在變化,错過了真正的問题位置。
收錄相關的數字,先分清它統計的是抓取、是索引還是估算,再决定要不要反應。多數时候,趋势和结构比某一個具体數值更有參考價值。