很多站点在栏目和文章之外,还会自动生成一批列表:标签页、作者页、专题聚合页、按时间归档的页面。它们本来是为了方便访客找内容,但只要数量不加控制,很容易变成几百上千个高度相似的列表页,把真正需要被发现的正文挤到一边。
标签页是怎么慢慢失控的
标签通常来自编辑发文时随手勾选的词。今天勾“服务器”,明天勾“服务器维护”,后天又加一个“服务器运维”。半年之后,站内可能同时存在几十个意思相近的标签页,每个页面挂着三五篇文章,标题和描述几乎一模一样。
更麻烦的是自动聚合。有些系统会根据标签组合生成新页面,比如“服务器 + 磁盘”,再加上翻页参数,页面数量会成倍增长。这些地址大多互相链接,蜘蛛顺着走一圈,能带走不少抓取配额。
判断一个列表页值不值得留,可以先问三句话:访客会主动点进来吗?这个页面有没有独一份的内容?它和站内其他列表页的区别,一句话能不能说清?
先把页面分个类
- 标签页:由发文时勾选的词自动生成,最容易被复制和滥用。
- 聚合页:按分类、时间、热度、组合条件自动拼出来的列表,数量取决于系统规则。
- 专题页:人工策划,有导语、有编排、有取舍,是真正能撑住权重的页面。
三类页面的处理方式完全不同。专题页可以放心对外链接、放进站点地图;标签页和聚合页则要看它们是否真的被人搜索、被人点击。
自查清单
- 统计站内列表页总量,和正文页数量比一比。列表页占比高得离谱时,先停下来。
- 翻访问日志和后台数据,找出三个月内没有自然点击、也没有搜索需求覆盖的列表页。
- 检查这些页面是否有独立的标题和描述,还是清一色“标签:XX”。
- 检查是否被收录、是否出现在站点地图里、是否被导航或正文链接大量指向。
- 检查翻页是否被允许一路翻到底,第二页之后是否还有真实价值。
四种处理思路
留
有搜索需求、有稳定点击、文章数量够多的标签页可以保留。给它们补一段说明文字,整理出精选入口,让它看起来像一个被编辑过的页面,而不是数据库吐出来的列表。
合
同义词标签合并成一个。合并时用 301 把旧地址指到新地址,别直接删掉,避免留下成片死链。
限
文章数低于三篇的标签页不生成、不输出链接,或者只在正文里以内链形式指向具体文章。翻页可以只保留前几页。
挡
纯组合条件、按时间归档、系统自动生成的聚合页,可以用 robots.txt 或页面级 noindex 处理。这里提醒一句:两者尽量不要同时用在同一个地址上,具体做法最好先在小范围测试,再全站推行。
别忘了内链和站点地图
处理标签页时,顺手检查两件事:正文里是不是有大量链接指向即将被合并的旧标签页;站点地图是不是还在往里塞这些地址。这两处不改,前面的清理很快会被重新填满。
标签页本身不是问题,失控的数量和千篇一律的模板才是。每隔一个季度花半小时看一遍列表页清单,比等到几千个页面互相打架再回头收拾要轻松得多。