网站收录

给站点建一份收录台账:每周该记哪几项数据

收录数字忽高忽低,靠印象判断很容易误判方向。这篇给出一份可以自己维护的收录台账:抓取量、响应状态码、索引状态、URL 总量、结果趋势分别记什么,按什么频率记录,以及数字出现异常时先排查哪几个方向。

网站收录

给站点建一份收录台账:每周该记哪几项数据

收录这件事,单看某一周的数字很容易被吓到:今天多了三百条,下周又少了两百条,说不清是正常调整还是真出了问题。与其每次靠感觉判断,不如给自己建一份收录台账,按固定的几列记上几周,趋势自然就出来了。

台账不是报表,是给自己留的对照

台账的作用不是向谁汇报,而是让「这周收录怎么样」这个问题有据可查。只需要一张表格,每周固定时间填一次,填完不用立刻下结论,攒够四周再横向比较。

建议记录的几组数据

一、抓取侧:蜘蛛有没有正常来

  • 服务器日志里搜索引擎蜘蛛的请求总量,按周统计
  • 响应状态码分布:2xx、3xx、4xx、5xx 各占多少,5xx 和超时是否集中在某几个目录
  • 被请求最多的前 20 个 URL,看看蜘蛛是不是老在爬同一批页面

抓取量稳定、错误率低,说明蜘蛛还能顺畅地走你的站;如果抓取量突然掉了一半,先去翻日志里的 5xx 和超时,再考虑其他原因。

二、索引侧:几个状态各有多少

  • 站点地图里提交的 URL 数量
  • 索引报告里的已编入索引、已发现但未抓取、已抓取但未编入索引这三个数
  • 被标记为重复、以及被 canonical 选中的页面数量

「已发现未抓取」在涨,通常是抓取能力跟不上发现速度;「已抓取未索引」在涨,更多和页面本身的质量判断有关。两个数分开看,处理方向完全不同。

三、站内侧:URL 总量和结构变化

  • 站内可访问 URL 总数,含参数页、分页、筛选页
  • 本周新增、删除的 URL 大致数量
  • 新页面距离首页的点击深度

很多「收录突然变差」其实是这一周批量上线了几千个筛选页或标签页,URL 总量一下子膨胀,把有限的抓取摊薄了。这一列能提前发现。

四、结果侧:只看趋势,不看单点

  • site 指令查到的数量,只做参考,不同时间、不同入口查出来的结果会差很多
  • 索引报告里有效页面数的变化方向

怎么填才对得上

  1. 固定同一天、同一时间段取数,比如每周一上午。
  2. 每次都记录原始数字或截图,不要只写「涨了」「跌了」。
  3. 至少连续记四周再下结论,单周波动先放着。
  4. 遇到大批量改版、上线新栏目、调整 robots,在备注里写一句,回看时能对上原因。

数字异常时,先问三个问题

  • 这周站上发生了什么?上新、改模板、换域名、封 IP、限流都要算进去。
  • 变化集中在某个目录,还是全站均匀分布?
  • 是抓取量变了,还是抓取没变但索引数变了?

把答案写进备注,几周之后你会发现自己踩过的坑其实就那么几个,重复出现的概率很高。

收录数是结果,不是目标。台账的价值在于把「感觉收录不好」拆成具体某一列在变化,从而知道下一步该查日志、查页面质量,还是查站内链接。

别把台账做成 KPI

有些人记着记着就开始追数字,为了曲线好看去批量堆 URL,反而制造更多低价值页面。台账更该关注的是异常值和它背后的原因,而不是每周涨了多少。收录本身也没有确定的时间表,能控制的只有几件事:让页面可抓取、结构清晰、内链合理、内容值得留。