網站收錄

给站点建一份收錄台帳:每周该记哪几項資料

收錄數字忽高忽低,靠印象判断很容易誤判方向。這篇给出一份可以自己维護的收錄台帳:抓取量、响應狀態碼、索引狀態、URL 總量、结果趋势分別记什么,按什么频率记錄,以及數字出現異常时先排查哪几個方向。

網站收錄

给站点建一份收錄台帳:每周该记哪几項資料

收錄這件事,單看某一周的數字很容易被吓到:今天多了三百條,下周又少了两百條,说不清是正常調整還是真出了問题。與其每次靠感觉判断,不如给自己建一份收錄台帳,按固定的几列记上几周,趋势自然就出来了。

台帳不是报表,是给自己留的對照

台帳的作用不是向谁匯报,而是让「這周收錄怎么样」這個問题有據可查。只需要一張表格,每周固定時間填一次,填完不用立刻下结论,攒够四周再横向比較。

建议记錄的几组資料

一、抓取侧:蜘蛛有没有正常来

  • 服務器日誌里搜尋引擎蜘蛛的請求總量,按周統計
  • 响應狀態碼分布:2xx、3xx、4xx、5xx 各占多少,5xx 和超时是否集中在某几個目錄
  • 被請求最多的前 20 個 URL,看看蜘蛛是不是老在爬同一批頁面

抓取量稳定、错誤率低,說明蜘蛛還能顺畅地走你的站;如果抓取量突然掉了一半,先去翻日誌里的 5xx 和超时,再考虑其他原因。

二、索引侧:几個狀態各有多少

  • 站点地图里提交的 URL 數量
  • 索引报告里的已编入索引、已發現但未抓取、已抓取但未编入索引這三個數
  • 被标记為重复、以及被 canonical 選中的頁面數量

「已發現未抓取」在涨,通常是抓取能力跟不上發現速度;「已抓取未索引」在涨,更多和頁面本身的质量判断有關。两個數分開看,處理方向完全不同。

三、站内侧:URL 總量和结构變化

  • 站内可訪問 URL 總數,含參數頁、分頁、篩選頁
  • 本周新增、刪除的 URL 大致數量
  • 新頁面距离首頁的点击深度

很多「收錄突然變差」其實是這一周批量上线了几千個篩選頁或标簽頁,URL 總量一下子膨胀,把有限的抓取摊薄了。這一列能提前發現。

四、结果侧:只看趋势,不看單点

  • site 指令查到的數量,只做參考,不同時間、不同入口查出来的结果會差很多
  • 索引报告里有效頁面數的變化方向

怎么填才對得上

  1. 固定同一天、同一時間段取數,比如每周一上午。
  2. 每次都记錄原始數字或截图,不要只寫「涨了」「跌了」。
  3. 至少连續记四周再下结论,單周波動先放着。
  4. 遇到大批量改版、上线新栏目、調整 robots,在备注里寫一句,回看时能對上原因。

數字異常时,先問三個問题

  • 這周站上發生了什么?上新、改模板、換域名、封 IP、限流都要算進去。
  • 變化集中在某個目錄,還是全站均匀分布?
  • 是抓取量變了,還是抓取没變但索引數變了?

把答案寫進备注,几周之後你會發現自己踩過的坑其實就那么几個,重复出現的概率很高。

收錄數是结果,不是目标。台帳的價值在于把「感觉收錄不好」拆成具体某一列在變化,從而知道下一步该查日誌、查頁面质量,還是查站内連結。

別把台帳做成 KPI

有些人记着记着就開始追數字,為了曲线好看去批量堆 URL,反而制造更多低價值頁面。台帳更该關注的是異常值和它背後的原因,而不是每周涨了多少。收錄本身也没有确定的時間表,能控制的只有几件事:让頁面可抓取、结构清晰、内鏈合理、内容值得留。