看到后台收录数很少,很多人的第一反应是全站动手:改标题、加内链、重写描述。动作很大,但方向可能是错的。因为一个整站的收录率,是很多个模板平均出来的结果,平均值低,不代表每个部分都低。
先让"收录率"变成一个能比较的数
别只看收录总数,先算比值:某一组 URL 里,有多少进了索引,除以这组 URL 的总数。同一个比值放在不同组之间对比,才有诊断价值。分母建议用你确认过的、真实存在且返回正常状态码的地址,不要把参数页、测试页混进去,否则算出来的分母是虚的。
按模板分组,而不是全站拉一个平均
一个站点通常只有几种页面类型,分组并不难。切分的依据可以按下面几种,选一到两种混着用即可:
- 按页面类型:文章详情、栏目列表、商品页、标签页、分页、归档。
- 按目录:把 URL 前缀当作天然的分区,各自统计。
- 按层级:首页一层、栏目二层、详情三层,看是不是越深越差。
- 按新旧:近三个月新增的与更早的地址分开统计。
分完之后,你大概率会看到某几组的收录率明显低于其他组,也可能看到所有组都差不多低。这两种情况的处理方式完全不一样。
局部偏低:先看这一组自己有什么问题
如果只有某些模板收不进去,问题基本在这一组内部。按这个顺序看:
- 内容是否太薄:整页去掉导航、推荐、页脚之后,真正属于这一页的信息还剩多少。只剩几行字加一堆推荐位,这一组很难被当作独立页面看待。
- 是否与另一组高度重合:标签页和栏目页、筛选页和分类页,经常是同一批内容的不同排列组合。同一批内容只需要一个代表地址留在索引里,其余的收不进去是正常的。
- 组内是否有规范地址:同一篇内容如果有多个入口地址,又没有统一的规范写法,索引里可能出现轮换,统计时就会表现为"忽收忽不"。
- 内链是否只进不出:这一组的页面能不能从站内被稳定地链到,还是只有列表第一页有入口。
整体偏低:问题通常在抓取和入口
如果每一组的收录率都在同一水平线上,那就别在单个页面上找原因了,要看更上游的两件事:
- 抓取是否到位:先分清抓取和收录是两回事。抓取日志里有它,只说明蜘蛛来过;来没来够、有没有被抓完,又是另一个问题。如果大量地址从来没被抓过,那讨论收录还为时过早。
- 抓取配额被谁占着:参数组合页、无意义的筛选页、重复的分页,往往会把配额吃掉,让真正该被看的地址排不上。先把这些低价值地址收一收,通常比新增内容更有效。
一个可执行的核对顺序
- 确定分母:列出真实存在、状态正常的 URL,按模板分组。
- 逐组算收录率,找出最低的那一两组。
- 如果差异明显,先集中处理这一两组的内容厚度、重复和规范地址。
- 如果各组持平且都低,转去查抓取量和入口深度,而不是继续加内容。
- 处理完观察一段时间,用同样的分组再算一次,看变化是否发生在你预想的组里。
收录率是结果,不是原因。先分组,再归因,最后才动手改页面。分组算过的站点,改起来往往比全站翻新的站点省力得多。
最后提醒一句:分组统计的目的是缩小范围,不是给每个模板定死指标。不同模板本来就该有不同的收录预期,栏目页和详情页的合理值不在一个量级上。