一个站点可能只有几百篇内容,但聚合入口往往远不止几百个:分类目录、标签、时间归档、作者页、专题、站内搜索结果页,再加上一层层分页。这些页面本身不算错,问题是它们很容易和正文争抢同一个关键词,也很容易把抓取预算分走,最后用户和搜索引擎都分不清哪个才是主入口。
先把聚合页列成一张清单
做决定之前,先有一份完整的名单。可以从后台的栏目、标签、专题模块里导出,也可以用站点地图或抓取日志反查最近被访问过的地址。常见的聚合类型大致包括:
- 栏目页和子栏目页,通常有编辑维护,是真正的主入口;
- 标签页,多由编辑随手填写,容易越积越多;
- 专题与合集页,围绕一个事件或主题人工组织;
- 时间归档页和作者页,多由系统自动生成;
- 站内搜索结果页,参数组合多,内容随时变化;
- 挂在上面这些页面后面的各类分页列表。
哪些值得保留索引
判断标准不需要太复杂,看三件事就够:有没有人真的会搜这个入口,内容量是否稳定,有没有人为它做维护。三条里满足两条以上,可以考虑保留;只满足一条,通常不划算。
- 标签下只有一个内容页,或者几篇关系很弱的文章,索引意义不大;
- 站内搜索结果页一般不适合被索引,参数组合太多,而且内容随查询变化;
- 长期空转的归档页、作者页,可以先从导航里移除,再决定是否继续索引;
- 有明确检索需求、并且持续更新的栏目或专题,则适合保留。
noindex 和 canonical 别混着用
这两个工具经常被放在一起讨论,但目的并不一样。canonical 表达的是“这一页的内容以那一页为准”,适合内容确实重复、希望把信号合并的情况;noindex 表达的是“这一页不要出现在搜索结果里”,适合没有独立价值、不想被展示的页面。
如果同一个页面上既写着 noindex,又指向别处的 canonical,搜索引擎收到的是互相矛盾的信号。要么让它可被索引并参与合并,要么干脆不索引,挑一种就好。
另外,noindex 要作用在页面上,不要只写进 robots.txt。robots.txt 阻止的是抓取,页面被抓不到,里面的 noindex 也就读不到,结果可能是链接仍然存在、页面仍被索引。两者是配合关系,不是互相替代。
分页要跟着一起处理
聚合页的分页最容易失控:标签翻到第十页,时间归档翻到第三十页,每一页都生成一个可索引地址。比较稳妥的做法是只让第一页参与索引,后续页保持可访问但不作为独立入口;如果内容确实不足,也可以让翻页自然收敛,而不是为了凑页数硬撑。
内链不要全指向聚合页
有些站点为了“提升入口权重”,把大量内链集中到标签页和归档页,正文之间反而很少互链。结果是用户从聚合页进去,再想找相关内容却只能回到列表。聚合页做入口,正文之间的链接负责串内容,两条线分开会更清楚。
定期看一眼,但不必一次改完
聚合页不是建好就不用管的东西。栏目合并、内容改版、编辑换人,都会让一部分入口慢慢失效。可以按季度做一次简单盘点:
- 列出近三个月既没有访问、也没有新内容的聚合页;
- 检查这些页面上还剩多少有效链接和可读内容;
- 决定是补内容、合并到相近入口,还是收起索引;
- 改动后观察抓取日志和索引数量的变化,别一次调整太多。
最后提醒一句:把标签页全部 noindex 通常不是最优解,有价值的主题入口值得留着。真正要做的是把“自动生成、但没人维护”的那一批识别出来,一次处理一类,避免误伤还在用的栏目。