内容量积累到一定阶段，站点往往會自動長出大量聚合頁：标簽頁、话题頁、作者頁、時間归档、排行榜。這些頁面由系統按規則生成，几分钟就能多出几十上百個 URL。問题在于，其中真正有搜尋需求的只是少數，剩下的更多是给搜尋引擎和用戶都带来负担的中間层。
聚合頁為什么會失控
常见的起点是一篇文章允许勾選多個标簽。編輯為了方便分類，往往會一次勾上五六個，几個月的更新之後，标簽總數可能達到几千個。每個标簽頁又會自動生成分頁、排序、篩選的组合，URL 數量呈倍數增長。
這些頁面的共同特征是：正文只有标题和連結列表，可讀内容很少；不同标簽頁之間内容高度重叠，比如「SEO」和「搜尋引擎優化」两個标簽下的列表几乎一样；頁面之間通過侧邊栏、頁脚互相連結，形成一張庞大的内部連結網。蜘蛛沿着這張網爬行，很容易把大部分時間花在這些低價值頁面上。
先分類，再决定策略
處理聚合頁之前，先按用途把它們分成几類，不同類別用不同办法，比一刀切更稳妥。
- 有獨立需求的聚合頁。比如「入门教程」「常见問题」這類有明确搜尋意图、且站内内容量足够的頁面。這類可以保留，並且要把栏目描述、導语、編輯推荐补上，让它本身成為一個可讀的頁面，而不是纯連結列表。
- 導航型聚合頁。主要是帮助用戶找到内容的中間层，比如「全部标簽」「按年份归档」。用戶几乎不會主動搜尋它們，但站内跳轉需要。可以保留，但通常不值得让它們進入索引。
- 自動组合頁。标簽加排序、标簽加時間、多标簽交叉产生的頁面。這類頁面數量最多，價值最低，應该優先收敛。
几個可落地的處理手段
收敛标簽數量
從源头控制比事後清理有效。可以限制每篇文章最多勾選三個标簽，並且只允许從已有标簽中選擇，不允许随手新建。定期查看标簽列表，把指向文章數過少的标簽合並到更上层的主题里，合並後保留一個規范 URL，其余做 301。
谨慎使用 noindex 與 follow
對確認没有獨立價值的聚合頁，可以在頁面 head 里加 meta robots 的 noindex，同时保留 follow，让蜘蛛仍然可以通過這些頁面發現並爬到詳情頁。要注意的是，noindex 的頁面不要同时放進 XML 站点地图，两邊的信号不一致會让抓取調度變得混乱。如果整類頁面都不需要被抓取，再考虑在 robots.txt 里屏蔽，但那样會连内鏈一起断掉，需要评估詳情頁是否有別的入口。
分頁與站点地图
聚合頁的分頁往往只在前几頁有内容，後面越翻越空。可以為分頁設定一個合理的上限，超出之後不再生成静態分頁 URL，改成更少的展示或者直接不提供。站点地图里只提交精選的聚合頁，不必把每個标簽的每一頁都列進去。
内鏈位置要克制
侧邊栏和頁脚的标簽云是内鏈膨胀的主要来源。可以减少展示數量，改成按热度或編輯挑選，而不是把所有标簽平铺出来。面包屑、栏目導航這些结构性連結保留，随机组合出来的連結入口可以去掉。
治理之後看什么
調整上线後，隔一段時間观察服務器日誌里各類 URL 的抓取比例，看看聚合頁占用的抓取次數是否下降、詳情頁是否上升。同时關注索引量變化和這些頁面的自然流量，確認砍掉的确實是没有價值的頁面。如果某個聚合頁實际上带来了稳定的訪問，就應该把它重新归到第一類，补内容而不是繼續压制。
聚合頁不是天然有害，問题在于它們大多是顺手生成的，没人對内容和入口负责。给每一類頁面定一個明确的归属和處理規則，比事後一批批删 URL 更省力。