内容量积累到一定阶段，站点往往会自动长出大量聚合页：标签页、话题页、作者页、时间归档、排行榜。这些页面由系统按规则生成，几分钟就能多出几十上百个 URL。问题在于，其中真正有搜索需求的只是少数，剩下的更多是给搜索引擎和用户都带来负担的中间层。
聚合页为什么会失控
常见的起点是一篇文章允许勾选多个标签。编辑为了方便分类，往往会一次勾上五六个，几个月的更新之后，标签总数可能达到几千个。每个标签页又会自动生成分页、排序、筛选的组合，URL 数量呈倍数增长。
这些页面的共同特征是：正文只有标题和链接列表，可读内容很少；不同标签页之间内容高度重叠，比如「SEO」和「搜索引擎优化」两个标签下的列表几乎一样；页面之间通过侧边栏、页脚互相链接，形成一张庞大的内部链接网。蜘蛛沿着这张网爬行，很容易把大部分时间花在这些低价值页面上。
先分类，再决定策略
处理聚合页之前，先按用途把它们分成几类，不同类别用不同办法，比一刀切更稳妥。
- 有独立需求的聚合页。比如「入门教程」「常见问题」这类有明确搜索意图、且站内内容量足够的页面。这类可以保留，并且要把栏目描述、导语、编辑推荐补上，让它本身成为一个可读的页面，而不是纯链接列表。
- 导航型聚合页。主要是帮助用户找到内容的中间层，比如「全部标签」「按年份归档」。用户几乎不会主动搜索它们，但站内跳转需要。可以保留，但通常不值得让它们进入索引。
- 自动组合页。标签加排序、标签加时间、多标签交叉产生的页面。这类页面数量最多，价值最低，应该优先收敛。
几个可落地的处理手段
收敛标签数量
从源头控制比事后清理有效。可以限制每篇文章最多勾选三个标签，并且只允许从已有标签中选择，不允许随手新建。定期查看标签列表，把指向文章数过少的标签合并到更上层的主题里，合并后保留一个规范 URL，其余做 301。
谨慎使用 noindex 与 follow
对确认没有独立价值的聚合页，可以在页面 head 里加 meta robots 的 noindex，同时保留 follow，让蜘蛛仍然可以通过这些页面发现并爬到详情页。要注意的是，noindex 的页面不要同时放进 XML 站点地图，两边的信号不一致会让抓取调度变得混乱。如果整类页面都不需要被抓取，再考虑在 robots.txt 里屏蔽，但那样会连内链一起断掉，需要评估详情页是否有别的入口。
分页与站点地图
聚合页的分页往往只在前几页有内容，后面越翻越空。可以为分页设置一个合理的上限，超出之后不再生成静态分页 URL，改成更少的展示或者直接不提供。站点地图里只提交精选的聚合页，不必把每个标签的每一页都列进去。
内链位置要克制
侧边栏和页脚的标签云是内链膨胀的主要来源。可以减少展示数量，改成按热度或编辑挑选，而不是把所有标签平铺出来。面包屑、栏目导航这些结构性链接保留，随机组合出来的链接入口可以去掉。
治理之后看什么
调整上线后，隔一段时间观察服务器日志里各类 URL 的抓取比例，看看聚合页占用的抓取次数是否下降、详情页是否上升。同时关注索引量变化和这些页面的自然流量，确认砍掉的确实是没有价值的页面。如果某个聚合页实际上带来了稳定的访问，就应该把它重新归到第一类，补内容而不是继续压制。
聚合页不是天然有害，问题在于它们大多是顺手生成的，没人对内容和入口负责。给每一类页面定一个明确的归属和处理规则，比事后一批批删 URL 更省力。