站点做到一定规模，栏目页和标签页往往同时存在。栏目是按业务或主题划分的固定层级，标签是按关键词、话题、作者、地区动态生成的入口。两者本身没有对错，问题在于很多站把标签页也做成了全量可索引的页面，结果同一篇文章在栏目、标签、专题三条路径上各被爬一遍，蜘蛛拿到的是一批高度相似、边界模糊的列表页。
先分清三类页面各自的职责
- 栏目页：结构稳定，按主题或业务线切分，一个栏目对应一类内容，层级和 URL 都相对长期不变。
- 标签页：柔性、可变，围绕关键词或话题横切栏目，用于把分散在不同栏目的相关内容串起来。
- 聚合页与专题页：运营临时拼装，服务于某次活动、某组关键词或某个热点，通常有明确的生命周期。
职责分清楚之后，判断标准就简单了：一个页面如果既不是稳定主干，也不能提供栏目页没有的视角，那它在抓取路径上的价值就有限。
四个常见问题
标签页自动生成、数量失控
很多内容系统会在文章填了标签后自动创建标签页，并且默认可索引。运营几个月后，标签页数量可能超过文章数量，其中大部分只有一个条目。
标签与栏目内容几乎重合
如果某个标签下的文章集合，和某个栏目下的文章集合重合度超过八九成，这两个列表页对用户和蜘蛛提供的信息基本一致，属于重复入口。
空标签与单条目标签页
一个标签下只有一篇文章时，它本质上还是那篇文章，列表页没有额外信息，反而多出一条薄弱页面。
内链只指向标签页，栏目页被架空
文章底部的“相关阅读”“热门标签”如果全部指向标签页，栏目页长期拿不到站内链接，主干结构反而比聚合页更边缘。
可以照着做的自查清单
- 导出所有可访问、且未被 robots 或 noindex 处理的标签页 URL，统计每个标签下的文章数量。
- 把标签页的文章集合与对应栏目页做比对，标出重合度高、内容几乎一致的组合。
- 检查标签页是否只有标题和文章列表，有没有一段属于自己的说明文字；没有说明文字又高度重合的，优先处理。
- 检查标签页的分页、排序、筛选参数是否也被索引，避免同一标签下再派生出一串地址。
- 检查主导航、面包屑、文章底部模块分别指向哪类页面，确认栏目页仍在主干链路上。
- 检查站点地图里收录了哪些聚合页，和上面的判断结果是否一致。
处理思路：保留、合并、收敛
- 保留：有独立描述、条目充足、确实能覆盖栏目未覆盖话题的标签，继续留着并正常参与内链。
- 合并：与栏目高度重合的标签，考虑并入栏目，或在页面上明确指向栏目作为主入口。
- 收敛：单条目、空条目、长期无更新的标签页，可以选择不生成可访问页面，或用 noindex 保留给用户使用但不作为抓取入口。
- 控制新增：给编辑一条规则，新增标签前先看是否已有相近标签，避免同义词各建一个页面。
页面数量不是站点质量的指标。一个能被稳定抓取、层级清楚的结构，比多出几百个相似列表页更有用。
维护节奏
标签集合会随着内容更新不断变化，建议按季度复核一次：统计新增标签、合并同义标签、清理单条目标签，同时核对站点地图和内链模块是否同步调整。改版或更换内容系统时，还要专门检查标签页的 URL 规则和默认索引状态有没有被重置。
这些调整不会让页面必然被收录，也不会立刻改变抓取量，但能减少蜘蛛在相似列表页之间反复往返，把有限的抓取预算留给真正需要更新的内容页。