網站收錄

收錄量忽然下降:先分清索引缩减、抓取異常與統計口径三類原因

收錄量下降未必是索引真的缩水,也可能来自抓取異常或統計口径變化。把常见原因分成三類,按顺序抽查 robots、canonical、狀態碼與日誌,並說明修复後索引恢复需要观察什么。

網站收錄

收錄量忽然下降:先分清索引缩减、抓取異常與統計口径三類原因

收錄量下降通常不是一夜之間發生的,而是先有抓取或结构上的變化,過一段時間才反映在數字上。看到下降时,先別急着批量提交 URL 或用第三方工具去“催”,而是把問题分成三類:索引真的變少了、抓取出了問题、還是查看口径變了。

一、先確認口径是否一致

排查之前,先確認两次對比的是同一组資料。常见干扰有:site 查询的结果數是估算值,本身會浮動;搜尋控制台里的索引报告只統計已驗證的资源,子目錄和子域名要分開看;不同第三方工具的样本库也不一样。如果波動幅度在几個百分点以内,且趋势平稳,多半只是估算差异。

二、索引真的减少了

這類情况能在索引报告或抽查中看到具体的 URL。常见触發点包括:

  • 頁面被刪除,或者開始返回 404 / 410;
  • robots.txt 新增了 Disallow,且改動的目錄范围較大;
  • 頁面模板或统一组件里加了 noindex,影响整批頁面;
  • canonical 被改成指向另一個地址,原地址被合並;
  • 服務器長時間返回 5xx 或大量超时,蜘蛛反复抓取失敗後减少訪問;
  • 正文依赖 JS 渲染,而渲染环节出错,蜘蛛拿到的是空壳。

這些改動往往是一次性的,但影响會分批顯現,所以容易和“最近没動過”的直觉冲突。回看最近两周的提交记錄和發版记錄,通常能找到對應。

三、抓取異常:還没掉,但很快會掉

抓取問题往往先出現在日誌里,而不是索引报告里。可以關注三個信号:某個目錄的抓取次數明顯下降、5xx 與超时占比上升、頁面平均响應時間變長。另外,robots.txt 本身返回 5xx 时,蜘蛛會暫停抓取,這會连带影响整站的更新节奏。带宽受限、CDN 規則調整、防火墙誤拦 UA,也都可能造成類似現象。

四、按顺序排查

  1. 確認两次對比的口径、時間范围與资源范围一致;
  2. 检查 robots.txt、meta robots、canonical 最近是否有改動;
  3. 抽查掉收錄的 URL,看現在的狀態碼、标题與正文是否正常輸出;
  4. 看服務器日誌中该目錄的抓取量與响應碼分布;
  5. 對比 sitemap 中的 URL 與线上實际可訪問的 URL,找出差值;
  6. 检查改版後導航和内鏈是否断掉,導致詳情頁失去入口。

五、修好之後別期待立刻恢复

問题修复只是重新获得被正常抓取的條件。蜘蛛需要重新訪問、重新判断頁面是否值得保留在索引里,這個周期的通常按天甚至按周計算。與其反复提交,不如保證頁面能被稳定抓取、内容完整輸出,然後观察日誌里的抓取是否恢复。

收錄量是结果,不是原因。數字下滑时先去看抓取日誌和线上頁面狀態,比反复提交 URL 更有用。

两個容易忽略的细节

一是列表頁或栏目頁被去掉索引後,詳情頁的發現路径變少,收錄下降會在几周後才顯現;二是站点地图没有同步更新,仍指向已经改動的地址,會持續浪費抓取。排查时把這两点一起看,往往能解释一部分“说不清原因”的下滑。