做收錄排查时,很容易遇到一種情况:站長工具後台顯示的有效頁面數、用 site: 查出来的结果數、服務器日誌里的抓取量、第三方工具给出的收錄數,四個數字各不相同,有的還差得挺遠。先別急着怀疑哪一步做错了——這些數字統計的范围、對象和時間本来就不一样,它們大概率都没有“算错”。
真正要做的,是把每個數字對應到什么東西上,再决定用哪一個作為長期观察的基准。
先把手里這几個數字對上号
站長工具的索引报告
這里統計的是搜尋引擎自己那一侧的索引條目,通常按“有效”和“已排除”分组。它反映的是索引结果,但存在匯總延迟,也不一定逐條實时更新。
site: 查询的结果數
這是一個估算值,受查询词、地区、資料中心影响較大。它适合用来看有没有、有没有大方向變化,不适合当作精确的收錄總數。
服務器日誌
日誌记的是抓取行為,不是索引结果。蜘蛛来過、抓成功了,只說明這個 URL 被抓取過,是否進入索引是之後的事。反過来,某個 URL 一直没出現在日誌里,才更值得留意。
第三方工具與站内埋点
第三方工具的數字多来自自己的爬取或抽样,覆盖面和搜尋引擎不完全重合;站内埋点統計的是訪問,和索引條目根本不是一回事。這两類數字可以和前几類做交叉參考,但不建议当基准。
同一件事在不同地方被记錄下来的時間不同,能解释大部分差异的不是“哪個更准”,而是時間和范围。
時間差是怎么产生的
- 抓取先發生:日誌里当天就能看到痕迹。
- 索引随後處理:抓取和進入索引之間隔着一段處理時間,長短不定。
- 报告再匯總:索引报告本身還有更新周期,不是即时的。
- 查询结果有缓存:site: 的數字可能會停留在某個較早的狀態。
所以同一次改動,可能在日誌里第二天就有反應,在索引报告里要等一两周才看得出来。拿两個處在不同阶段的數字直接對比,很容易得出错誤结论。
建议的對照方法
- 選定一個主口径作為長期基准,一般用站長工具的索引报告比較合适,其他數字只作為旁證。
- 固定频率记錄,比如每周同一天的同一時間段,把數字抄進一張表里。
- 看趋势,不看绝對值。连續几周的走向比某一天的數字有意义得多。
- 出現變化时,用日誌去驗證關键頁面:是抓取少了,還是抓取没變但索引處理變了。
- 在表里顺手记下当时做過的動作,比如提交、改内鏈、調整模板。後面回溯时會省很多事。
几個常见的誤判
- 看到 site: 數字下降就以為被大量刪除,其實可能只是估算值波動或缓存刷新。
- 看到日誌抓取量上涨就以為收錄變好,其實可能只是低價值 URL 被反复抓。
- 看到“已排除”數量多就紧張,其中不少是有意挡掉的參數頁、測試頁,属于正常狀態。
- 看到第三方工具數字偏高就以為收錄更好,它可能把同一頁面的多種 URL 寫法分別計數了。
把口径和時間差這两件事寫清楚,收錄數字的波動會好解释很多。下次再看到几個數字對不上,先問一句:它們統計的到底是什么,統計到哪一天為止。