标签页、聚合页、筛选页这类页面通常由系统自动拼装，数量增长很快。它们有时能承接一部分长尾需求，也常常变成薄内容、重复内容和抓取浪费的来源。关键不是一刀切地禁用，而是先想清楚哪些页面值得留下、哪些该收口。
先分清三类自动生成的页面
- 标签页：由人工或半人工给内容打标后生成，比如「服务器维护」「内链优化」。标签总量可控，但容易出现一个标签只有一两篇内容的情况。
- 聚合页：按栏目、作者、时间、专题等维度自动汇总。专题类通常有编辑投入，价值相对稳定；纯按时间或作者自动生成的列表，往往只是换个排序看同一批内容。
- 筛选与搜索页：由参数组合或站内搜索产生，地址数量可能呈指数增长，也是重复地址最集中的地方。
判断一个聚合页该不该留
与其凭感觉，不如用几个可验证的条件过一遍：
- 是否有真实的需求入口，比如这个词在站内搜索、用户问询或外部渠道里反复出现；
- 聚合后的条目数量是否足够撑起一页，太少就只是换个方式展示首页；
- 页面是否有自动生成之外的独有内容，比如编辑写的导语、挑选逻辑、常见问题；
- 是否有人定期维护，包括补充条目、剔除失效内容、更新导语。
四条里满足得越多，越值得保留并纳入导航或内链；只满足一条甚至一条都不满足，就更适合做收口处理。
三个最常见的坑
1. 空壳与薄内容
标签建立后长期没有内容填充，或者只有标题加一串链接。这类页面本身没有阅读价值，却会占用抓取资源，还可能让用户从栏目页跳进死胡同。定期清理无内容的标签，比事后补救更省力。
2. 参数叠加生成无限地址
排序、每页条数、筛选条件、追踪参数一旦允许任意组合，地址数量就不可控。建议给可被抓取的组合设一个明确上限，其余组合通过 robots 规则或参数约束挡在外面，并确保分页地址有稳定的规范指向。
3. 多套入口互相重叠
同一批内容同时出现在分类页、标签页、专题页、作者页里，如果没有主次之分，蜘蛛和用户都难以判断哪个是主要入口。做法通常是选定一到两个重点入口保持可抓取，其余页面收敛或做页面级处理。
上线前的自查清单
- 列出当前所有自动生成的页面类型，标注各自的数量级和增长方式。
- 抽查每类页面各若干条，检查是否有独有文案、条目是否充足、是否混入失效内容。
- 核对分页、排序、筛选参数是否会产生重复地址，确认规范地址指向正确。
- 检查标签页是否进入主导航或栏目页内链，避免只能靠站点地图被发现。
- 确认页面级指令与实际意图一致，不要出现既要保留又屏蔽的矛盾配置。
- 在服务器日志里观察这些页面的抓取占比，比例过高时优先复查。
巡检节奏与记录
聚合页的问题往往是缓慢累积的：标签越建越多，筛选组合越来越随意，几个月后才发现抓取被大量低价值地址占满。建议把它纳入月度巡检，和栏目更新、死链检查放在一起做。
记录时不要只写「清理了标签页」，而要写清时间、页面类型、处理方式（保留、收敛、加规范、屏蔽）和判断依据。下次复查时，这份记录比记忆可靠。
衡量效果也不必求快。可以先看这类页面的抓取比例、用户跳出情况、栏目页的内链是否更清晰，再决定下一步是继续收紧，还是放开部分入口。