不少站点會遇到同一種反差：真正的内容頁只收錄了一部分，而标簽頁、日期归档頁却成百上千地進了索引。數量看着好看，但這些頁面大多没有獨立搜尋需求，反而會稀释站内有效頁面，也让索引报告更难讀。
先把頁面分成三類
- 内容頁：一篇文章、一個商品、一條問答，通常有獨立主题和搜尋需求。
- 聚合頁：分類頁、标簽頁、专题頁，把同類内容按某種規則聚在一起。
- 归档頁：按年月、按作者、按内容類型批量生成的列表。
這三類的收錄策略不该一样。内容頁基本都希望被收錄；聚合頁要挑着来；归档頁大多可以不做收錄。
判断标准：問三個問题
一、有没有人真的會搜它
聚合頁存在的意义，是承接某個可以描述的检索意图。如果一頁只能靠站内点击進入，外部几乎没人用類似词组搜尋，它被收錄後大概率也只有展現没有点击。
二、它和其他頁面重合多少
同一批文章往往同时出現在首頁、分類頁、标簽頁和归档頁。如果這些列表頁的标题、摘要、顺序都差不多，對搜尋引擎来说就是多個近似頁面在争同一個位置。
三、内容是否稳定
日期归档和标簽頁的内容會随着新内容發布不断變化，舊月份頁面則長期不再更新。這類頁面更适合做站内浏览入口，而不是需要長期维護的收錄對象。
标簽頁：最容易被收過头的一類
标簽頁的门槛太低。編輯顺手打几個标簽，一個标簽只對應一两篇文章，頁面正文几乎就是列表，和分類頁、标簽云頁面高度重合。這類頁面即便被收錄，也很难带来有效訪問。
相對值得保留的标簽，通常满足三点：标簽本身是用戶會用的搜尋词，聚合的内容數量足够撑起一頁，且不同标簽之間的文章差异明顯。其余的可以考虑不做收錄處理。
分類頁和专题頁
分類頁往往承担站内導航功能，是用戶和爬虫進入内容頁的主要通道，一般建议保留並允许收錄。重点是把分類划分清楚，頁面上有简短說明，而不是只有一串标题。专题頁如果有獨立策划的内容和文案，也可以按内容頁對待。
日期归档和作者頁
月份归档、作者归档通常是模板批量生成的结果，同一批文章在前面的頁面已经出現過多次。多數量站上，它們不带来額外價值，可以考虑不收錄。作者頁如果只有昵称加文章列表，情况類似；但如果作者頁有简介、擅長领域和持續更新的内容，可以酌情保留。
處理方式：屏蔽方式和連結輸出要一起想
- 用 noindex 阻止頁面進入索引，同时保持 follow，让頁面上通向内容頁的連結繼續被识別。
- 除非是明确的隐私或權限頁面，不建议用 robots.txt 屏蔽這類聚合頁。被屏蔽後，頁面上的連結也讀不到，可能影响内容頁的發現。
- 如果该頁面對用戶也没價值，最直接的做法是不再輸出連結，而不是只做技術屏蔽。
- 检查站点地图和站内導航是否還在大量輸出這些地址，避免一邊 noindex 一邊大批量提交。
上线前的自查清單
- 列出站点所有會批量生成的列表頁類型：分類、标簽、日期、作者、搜尋、篩選參數。
- 逐個判断是否有獨立搜尋需求，能否用一句话说清它和相邻頁面的区別。
- 對判定為低價值的類型统一加 noindex，按類型分批處理，不要一次全加。
- 观察一到两個更新周期，再對照索引报告看數量變化和内容頁的表現。
聚合頁的價值在于帮用戶更快找到内容，而不是给索引凑數。先問“用戶會不會点進来”，再决定要不要让搜尋引擎收錄。