收錄相關的排查,最容易犯的错是“全站铺開”:把所有 URL 拉出来,逐條看狀態,改一堆東西,然後等结果。這样做的問题不是不努力,而是變量太多——你改了内鏈、調了模板、換了 sitemap,最後不管结果好坏,都不知道是哪一步起了作用。
更省力的做法是先做一组小样本對照。样本小,變量可控,观察周期短,结论也能更快用到全站。
為什么先做小样本
抓取和收錄本身带有延迟和波動。同一批頁面,有的当天被抓,有的一周後才進索引,這中間可能只是調度顺序的差异,不代表頁面有問题。全站排查會把這種正常波動当成異常,白改很多東西。
把范围缩小到十几個頁面,你能记住每個頁面的初始狀態、改了什么、什么时候改的。观察结果时,判断會清楚很多。
样本怎么選
样本不用随机,按對照的目的挑就好。常见的几個维度:
- 頁面類型:文章頁、栏目頁、聚合頁各選几個,不同類型在收錄判断里的表現本来就不一样。
- 点击深度:從首頁点两下能到的,和点五六下才能到的,各放一两個,用来观察内鏈入口的影响。
- 内容体量:短頁面和長頁面各選,避免把“内容太薄”和“入口不够”混在一起看。
- 上线時間:新舊頁面都有,新舊頁面的抓取優先級通常不同。
每组两到三個就够了。样本太多,又會回到無法逐條跟踪的狀態。
一次只動一個變量
這是小样本方法的核心。比如你想驗證“补内鏈能不能加快發現”,那就只加内鏈,不要同时改标题、調版式、补提交入口。哪怕你心里觉得這几項都该改,也先分開做。
實际操作时,可以把样本再分两层:一层做改動,一层保持原样当參照。過一段時間對比两层的抓取和收錄情况,比單看“改過的頁面有没有被收錄”更有说服力——因為後者無法排除“不改也會被收錄”的可能。
如果两類頁面的结果没有明顯差別,不要急着否定结论。先看观察窗口是不是太短,样本量是不是太小,改動有没有真正生效。
观察时把三层分開记
记錄时建议分三层,不要只记“收錄了没有”:
- 有没有被抓:看服務器日誌里對應 URL 的訪問痕迹,或者抓取統計里的請求數。
- 有没有進索引:用 site 查询或索引覆盖類报告確認,注意区分“已抓取未索引”和“已索引”。
- 有没有被展示:收錄不等于有流量,展示层還受标题、摘要和查询匹配的影响。
把這三层混在一起,很容易得出错誤结论。比如頁面没流量,第一反應是“没收錄”,其實可能只是收錄了但展示位置靠後。
结论怎么用到全站
小样本给出的不是“必然規律”,而是一個方向性的判断:某個改動在目前站点结构下,看起来對抓取或收錄有正向影响。接下来可以分两到三批,把改動逐步放大,每批之間留出观察時間。
如果放大到某個批次後效果變差,說明结论有邊界條件,比如只适用于点击深度浅的頁面,或者只适用于内容量足够的頁面。這比一開始就全站改、事後無法回溯要好得多。
另外,样本结论要寫下来:改了什么、什么时候改的、观察了多久、看到什么。站点运营是長期的事,几個月後回头看這些记錄,能省下很多重复排查。