收錄很容易變成“想起来才查一次”的事。查的时候又常常只看一個總數:没涨就着急,涨了就放心。但收錄量是结果,能解释结果的是一组過程資料——蜘蛛来過多少次、抓的是哪些 URL、返回了什么狀態、新頁面有没有入口。把這些拆成固定的检查項,每周花二三十分钟過一遍,比临时翻各種报告有效得多。
一、收錄狀態:總量之外,看類型分布
索引报告里的總數只是入口。更有信息量的是頁面按類型或目錄分组後的比例,比如商品頁、列表頁、标簽頁、帮助文档各自被收錄了多少,哪一類占了大头。
重点看两個比例
- 有效内容頁占收錄總量的比例。如果長期偏低,說明索引里堆了大量低價值 URL。
- 被排除頁面的主要原因构成:是“重复網頁”“已抓取,尚未编入索引”,還是“被 robots 拦截”。原因不同,處理方向完全不同。
如果“已抓取,尚未编入索引”的比例在几周内持續上升,通常不是抓取問题,而是内容质量、重复度或站点整体信任信号發生了變化,需要回到頁面本身找原因。
二、抓取侧:蜘蛛来时做了什么
抓取統計能回答一個關键問题:蜘蛛到底有没有認真看你的站。要看的不只是請求總量,還有落点分布和响應情况。
- 請求數趋势:短期下降不一定是坏事,長期持續下滑才值得查。
- 狀態碼分布:5xx 和超时增多时,先修服務器和程序,再谈收錄。
- 落点分布:如果抓取集中在首頁和几個列表頁,内頁很少被碰,多半是入口和内鏈的問题,而不是内容不好。
平均响應時間也值得留意。同一批蜘蛛,响應從两百毫秒涨到两秒,抓取量往往會跟着掉。
三、發現通道:新 URL 有没有被暴露
新頁面收不進来,先確認它有没有被“看见”的机會。這一步检查很简單。
- 頁面是否至少有一個可点击的内鏈入口,而不是只存在于站点地图里。
- 站点地图是否包含它,且文件本身能被正常訪問。
- 是否有主動提交通道在用,且提交後没有报错。
需要明确的是,提交只解决“發現”,不解决“收錄”。它让 URL 更快進入待抓取队列,最终是否進索引,仍取决于抓取、渲染和内容判断。
四、当周改動清單
很多收錄波動其實是自己改出来的。模板調整、導航改版、robots 與 canonical 的修改、批量下线頁面,都會在随後几天影响收錄資料。建议检查时顺手记一句本周做了什么,否則事後很难還原因果。
收錄是抓取、渲染、内容质量與站点信号共同作用的结果。任何單一指标都不足以支撑结论,把几項資料放在一起看,判断才站得住。
记錄與對比:让趋势替你做判断
最後一步是把上面几項记進同一張表:日期、收錄總量、抓取請求數、異常狀態碼數量、新提交 URL 數量、当周主要改動。
- 连續记三到四周,就能分清哪些是正常波動,哪些是持續恶化。
- 資料一起變動的那一周,往往就是原因所在。
- 不要因為單日資料就調整策略,改動本身也需要時間才能被观察到。
流程固定下来之後,收錄检查會從“猜”變成“讀資料”。每周顺一遍,問题通常能在變嚴重之前被發現。