做站时间长了，常会遇到一种情况：内容总量看起来不少，但翻来覆去就是那几篇在主推。站点地图里躺着一大堆地址，其中相当一部分只是同一批内容换了个栏目再出现一次。这类页面本身没有错，问题出在它们的数量、质量和互相之间的关系没有被管住。
聚合页不是问题，失控才是
标签页、作者页、日期归档、栏目的子集列表，本质都是聚合页。它们的作用是给用户和蜘蛛提供一条通往内容的路径，帮人快速找到一类东西。当聚合页只有几页、并且每页都能提供清晰的分类信息时，它是结构的一部分；当它自动生成几千页、内容只是标题列表时，它就变成了稀释站点的负担。
重复内容通常从哪儿来
- 多栏目调取：同一篇文章同时挂在“行业动态”和“技术分享”下，两个地址内容几乎一致。
- 标签与归档：标签组合稍多，就会自动长出大量只有三五条内容的页面。
- 分页列表：列表页翻到第五十页，实际价值已经很低，却仍然可以被抓取。
- 跟踪参数：分享链接、统计参数让同一个页面裂出多个地址。
- 多版本输出：打印版、移动版、简化版各自有独立 URL。
先确定每个主题的主版本
处理之前要先做一件事：给每类内容指定一个“主地址”。判断标准不复杂——用户最可能在哪个地址上完整读完内容，哪个地址就应该是主版本。通常正文详情页是主版本，栏目页和标签页是辅助入口。
决定之后，其余地址的定位就清楚了：要么作为辅助入口存在，但不参与竞争；要么直接合并掉。避免出现“两个页面互相看不顺眼、都想当主版本”的局面。
可以落地的几种处理方式
- 给聚合页补充独有内容。如果标签页确实有用户价值，可以加上分类说明、精选推荐、常见问题，让这页不再只是标题的搬运。
- 合并高度重叠的栏目。两个栏目覆盖的主题几乎一样时，保留一个，另一个做跳转或直接下线，把内容归到主栏目下。
- 让低价值聚合页退出索引。标签组合、日期归档这类页面如果长期没有流量和点击，可以考虑用 noindex 处理，但要注意别把有用的筛选入口一并关掉。
- 分页保持可抓取并自指规范地址。分页本身是内容的一部分，不建议直接屏蔽；重点是让每页指向自己，而不是全部指回第一页。
- 内链集中指向主版本。相关推荐、上一篇下一篇、正文内的链接，都优先指向详情页，而不是指向又一个列表页。
- 站点地图只提交主版本。把辅助页从站点地图里拿掉，能减少蜘蛛在不重要的地址上花费的时间。
自查清单
- 随机抽 10 条聚合页地址，看看每页内容是否有超过列表之外的信息。
- 搜索一段正文的原文，看结果里出现了几个不同地址。
- 检查标签页总数，看是否有大量只有一两条内容的标签。
- 确认分页的规范地址是否指向自身。
- 检查站内链接是否存在同一篇文章指向两个栏目地址的情况。
聚合页的价值来自“帮人更快找到内容”，而不是“让站点看起来有更多页面”。这两件事经常被混为一谈。
重复内容和聚合页的治理不是一次性的任务，栏目调整、标签新增、专题上线都会重新产生重叠。比较稳妥的做法是把它变成一条固定动作：每次新增栏目或批量生成页面之前，先问一句——这个地址和已有的地址，究竟有什么区别。答不上来，就先别急着让它进索引。