站点跑了一段时间后，很多人会发现后台的页面数量涨得比内容还快。打开 sitemap 一看，几千个 URL 里真正有人认真编辑过的可能只有几百个，剩下的全是标签页、日期归档、作者页、筛选结果页这类自动生成的聚合页面。它们不需要人写，就会随着内容增加自动膨胀。
聚合页为什么会失控
聚合页本身不是坏东西。按标签、按时间、按栏目整理的列表页，能帮访客快速找到同类内容，也能承接一部分长尾搜索。问题在于多数 CMS 默认会为每一个标签、每一个日期、每一种筛选组合都生成一个可访问的 URL，并且自动放进 sitemap。内容越多，组合越多，URL 数量就呈几何级增长。
结果是三件事同时发生：抓取预算被大量低质列表页分走；站内出现大量内容高度重复的页面；真正需要被收录的文章反而排在了后面。
先盘点：站里有哪些自动生成的页面
- 标签页与话题页：一个词一个页面，几篇内容也能生成一个。
- 日期归档：按年、按月、按日都可能各有一套 URL。
- 作者页与来源页：只有一个作者时，作者页和首页内容几乎一样。
- 筛选与排序参数：分类、价格、排序方式叠加出的组合页。
- 分页序列：列表页翻到第二十页之后基本没人看。
按三类分别处理
保留
有独立编辑内容、有明确搜索需求、有稳定访问量的聚合页。比如一个核心话题页，除了列表之外还写了导语、分类说明和相关导航。这类页面值得留在 sitemap 里，也应该从栏目页和内链里指过去。
限制
有一定访问量但内容全靠自动拼接的标签页。可以做几件事：只保留内容数量达到阈值的标签，比如少于五篇内容就不生成页面；给这类页面写上与列表首屏一致的标题和描述；把翻页超过一定深度的页面设为不再索引。
收敛
纯参数组合、空标签、只有一个作者的作者页、没有内容的日期归档。这些页面的常见处理方式是返回 404 或 410，或者用 robots.txt 挡掉抓取、用 noindex 挡掉收录，两者选其一即可，不必同时上。要注意 robots.txt 只能阻止抓取，不能阻止收录；如果页面已经被索引，用 noindex 更合适。
动手前的检查清单
- 拉一份最近的抓取日志，统计蜘蛛访问量最高的 100 个 URL，看其中有多少是聚合页。
- 对照 sitemap，数一数其中聚合页的占比。
- 随机抽 20 个标签页，看标题、描述、正文是否几乎一样。
- 确认站内有没有指向空标签或空归档的内链入口。
- 检查分页是否可无限翻，最后一页之后是否还能返回正常页面。
聚合页的取舍没有统一标准，判断依据可以简化成一句：这个页面能不能独立满足一次搜索或一次浏览需求。如果不能，它更接近一层导航，而不是一页内容。
调整之后观察什么
改动生效需要时间。上线后重点看三件事：抓取日志里文章页的访问占比是否上升；索引量是否先降后稳；核心文章的曝光和点击有没有明显下滑。如果索引量下降但文章页被抓取得更多，通常说明方向是对的。整个调整建议分批做，一次只处理一类聚合页，方便回滚，也方便判断效果到底来自哪一步。