标签页、聚合页、相关推荐页这类由系统自动生成的地址，往往在上线时没人特别在意，运行一两年之后数量却可能远超真正的文章页。它们结构相似、正文稀薄，又常常通过标签云、侧边栏、底部推荐互相链接，很容易在抓取预算里占据不小的比例。
先判断：标签页到底算不算内容
标签页本质上是一个列表，它承载的是筛选与聚合，而不是独立的观点或信息。所以判断一个标签页该不该留，可以先问两个问题：
- 有没有真实的搜索需求：这个词在站内搜索、外部搜索里是否被人主动找过；
- 落地之后能不能解决问题：用户点进来，除了看到一串标题，还能得到什么。
两个问题都答不上来的标签页，基本可以归到系统产物一类，它存在的意义更多是给编辑自己看，而不是给访问者看。
三种最容易失控的生成方式
- 随手新建：不同编辑对同一个概念用了相近但不相同的词，同义标签并存，每个都只有一两篇文章。
- 自动组合：分类加标签加年份、地区加类型这类交叉组合，组合数按乘法增长，很快就变成几百上千个地址。
- 无限推荐：底部相关阅读、猜你喜欢生成的组合页，每次抓取都可能发现新的排列。
留与弃：几个可操作的判断角度
- 内容量：聚合到的条目低于某个阈值时，页面信息量通常不足以独立成页。
- 与栏目页的重叠度：标签页和分类页指向的内容高度一致时，两者会互相稀释。
- 更新频率：长期不新增内容的标签页，价值会随时间下降。
- 入口位置：如果它只出现在全站标签云里、从不被正文链接，本身也说明了它的地位。
处理顺序：先合并，再收敛，最后才屏蔽
比较稳妥的顺序是先做合并。把同义标签归并到一个主词上，让原来分散的几页收敛成一页；确实不用的标签页可以直接删除，让地址返回 404 或 410。对于暂时拿不准、又不想让它参与索引的页面，可以先用 noindex 观察一段时间。
这里有个容易踩的顺序问题：如果先用 robots.txt 把整个标签目录屏蔽，蜘蛛就不会去抓这些页面，自然也读不到页面里的 noindex。结果可能是页面既没被 noindex 清掉索引，又失去了后续调整的余地。要么放开抓取让 noindex 生效，要么屏蔽抓取但接受索引状态更新会慢很多，两者不建议同时上。
如果短期内无法改造模板，也可以考虑让标签页 canonical 指向对应的栏目页作为过渡，但这只是止血，不解决根本问题。
从源头控制新增标签
- 把标签的添加权限收拢到少数人手里，或增加一道审批；
- 维护一份标签库，新建前先搜一遍有没有近似词；
- 给标签页设置一个总量上限，超过就要求先合并旧的；
- 自动组合类页面默认不生成，需要时再手动开。
定期复核看什么
隔一段时间回来看几个数：抓取日志里列表类地址占的比例有没有明显上升，站内被索引的标签页数量是否还在增长，以及标签页带来的入口点击是否集中在少数几个词上。如果大部分标签页长期没有点击，说明它们更多是在消耗抓取资源，而不是在帮忙。
标签和聚合页不是不能有，关键是每一个都要能回答为什么它值得单独存在。数量控制住，剩下的页面才更容易被认真对待。