收錄這件事,單看某一周的數字很容易被吓到:今天多了三百條,下周又少了两百條,说不清是正常調整還是真出了問题。與其每次靠感觉判断,不如给自己建一份收錄台帳,按固定的几列记上几周,趋势自然就出来了。
台帳不是报表,是给自己留的對照
台帳的作用不是向谁匯报,而是让「這周收錄怎么样」這個問题有據可查。只需要一張表格,每周固定時間填一次,填完不用立刻下结论,攒够四周再横向比較。
建议记錄的几组資料
一、抓取侧:蜘蛛有没有正常来
- 服務器日誌里搜尋引擎蜘蛛的請求總量,按周統計
- 响應狀態碼分布:2xx、3xx、4xx、5xx 各占多少,5xx 和超时是否集中在某几個目錄
- 被請求最多的前 20 個 URL,看看蜘蛛是不是老在爬同一批頁面
抓取量稳定、错誤率低,說明蜘蛛還能顺畅地走你的站;如果抓取量突然掉了一半,先去翻日誌里的 5xx 和超时,再考虑其他原因。
二、索引侧:几個狀態各有多少
- 站点地图里提交的 URL 數量
- 索引报告里的已编入索引、已發現但未抓取、已抓取但未编入索引這三個數
- 被标记為重复、以及被 canonical 選中的頁面數量
「已發現未抓取」在涨,通常是抓取能力跟不上發現速度;「已抓取未索引」在涨,更多和頁面本身的质量判断有關。两個數分開看,處理方向完全不同。
三、站内侧:URL 總量和结构變化
- 站内可訪問 URL 總數,含參數頁、分頁、篩選頁
- 本周新增、刪除的 URL 大致數量
- 新頁面距离首頁的点击深度
很多「收錄突然變差」其實是這一周批量上线了几千個篩選頁或标簽頁,URL 總量一下子膨胀,把有限的抓取摊薄了。這一列能提前發現。
四、结果侧:只看趋势,不看單点
- site 指令查到的數量,只做參考,不同時間、不同入口查出来的结果會差很多
- 索引报告里有效頁面數的變化方向
怎么填才對得上
- 固定同一天、同一時間段取數,比如每周一上午。
- 每次都记錄原始數字或截图,不要只寫「涨了」「跌了」。
- 至少连續记四周再下结论,單周波動先放着。
- 遇到大批量改版、上线新栏目、調整 robots,在备注里寫一句,回看时能對上原因。
數字異常时,先問三個問题
- 這周站上發生了什么?上新、改模板、換域名、封 IP、限流都要算進去。
- 變化集中在某個目錄,還是全站均匀分布?
- 是抓取量變了,還是抓取没變但索引數變了?
把答案寫進备注,几周之後你會發現自己踩過的坑其實就那么几個,重复出現的概率很高。
收錄數是结果,不是目标。台帳的價值在于把「感觉收錄不好」拆成具体某一列在變化,從而知道下一步该查日誌、查頁面质量,還是查站内連結。
別把台帳做成 KPI
有些人记着记着就開始追數字,為了曲线好看去批量堆 URL,反而制造更多低價值頁面。台帳更该關注的是異常值和它背後的原因,而不是每周涨了多少。收錄本身也没有确定的時間表,能控制的只有几件事:让頁面可抓取、结构清晰、内鏈合理、内容值得留。