不少站点会遇到同一种反差：真正的内容页只收录了一部分，而标签页、日期归档页却成百上千地进了索引。数量看着好看，但这些页面大多没有独立搜索需求，反而会稀释站内有效页面，也让索引报告更难读。
先把页面分成三类
- 内容页：一篇文章、一个商品、一条问答，通常有独立主题和搜索需求。
- 聚合页：分类页、标签页、专题页，把同类内容按某种规则聚在一起。
- 归档页：按年月、按作者、按内容类型批量生成的列表。
这三类的收录策略不该一样。内容页基本都希望被收录；聚合页要挑着来；归档页大多可以不做收录。
判断标准：问三个问题
一、有没有人真的会搜它
聚合页存在的意义，是承接某个可以描述的检索意图。如果一页只能靠站内点击进入，外部几乎没人用类似词组搜索，它被收录后大概率也只有展现没有点击。
二、它和其他页面重合多少
同一批文章往往同时出现在首页、分类页、标签页和归档页。如果这些列表页的标题、摘要、顺序都差不多，对搜索引擎来说就是多个近似页面在争同一个位置。
三、内容是否稳定
日期归档和标签页的内容会随着新内容发布不断变化，旧月份页面则长期不再更新。这类页面更适合做站内浏览入口，而不是需要长期维护的收录对象。
标签页：最容易被收过头的一类
标签页的门槛太低。编辑顺手打几个标签，一个标签只对应一两篇文章，页面正文几乎就是列表，和分类页、标签云页面高度重合。这类页面即便被收录，也很难带来有效访问。
相对值得保留的标签，通常满足三点：标签本身是用户会用的搜索词，聚合的内容数量足够撑起一页，且不同标签之间的文章差异明显。其余的可以考虑不做收录处理。
分类页和专题页
分类页往往承担站内导航功能，是用户和爬虫进入内容页的主要通道，一般建议保留并允许收录。重点是把分类划分清楚，页面上有简短说明，而不是只有一串标题。专题页如果有独立策划的内容和文案，也可以按内容页对待。
日期归档和作者页
月份归档、作者归档通常是模板批量生成的结果，同一批文章在前面的页面已经出现过多次。多数量站上，它们不带来额外价值，可以考虑不收录。作者页如果只有昵称加文章列表，情况类似；但如果作者页有简介、擅长领域和持续更新的内容，可以酌情保留。
处理方式：屏蔽方式和链接输出要一起想
- 用 noindex 阻止页面进入索引，同时保持 follow，让页面上通向内容页的链接继续被识别。
- 除非是明确的隐私或权限页面，不建议用 robots.txt 屏蔽这类聚合页。被屏蔽后，页面上的链接也读不到，可能影响内容页的发现。
- 如果该页面对用户也没价值，最直接的做法是不再输出链接，而不是只做技术屏蔽。
- 检查站点地图和站内导航是否还在大量输出这些地址，避免一边 noindex 一边大批量提交。
上线前的自查清单
- 列出站点所有会批量生成的列表页类型：分类、标签、日期、作者、搜索、筛选参数。
- 逐个判断是否有独立搜索需求，能否用一句话说清它和相邻页面的区别。
- 对判定为低价值的类型统一加 noindex，按类型分批处理，不要一次全加。
- 观察一到两个更新周期，再对照索引报告看数量变化和内容页的表现。
聚合页的价值在于帮用户更快找到内容，而不是给索引凑数。先问“用户会不会点进来”，再决定要不要让搜索引擎收录。