站点跑了一段時間後，很多人會發現後台的頁面數量涨得比内容還快。打開 sitemap 一看，几千個 URL 里真正有人認真編輯過的可能只有几百個，剩下的全是标簽頁、日期归档、作者頁、篩選结果頁這類自動生成的聚合頁面。它們不需要人寫，就會随着内容增加自動膨胀。
聚合頁為什么會失控
聚合頁本身不是坏東西。按标簽、按時間、按栏目整理的列表頁，能帮訪客快速找到同類内容，也能承接一部分長尾搜尋。問题在于多數 CMS 預設會為每一個标簽、每一個日期、每一種篩選组合都生成一個可訪問的 URL，並且自動放進 sitemap。内容越多，组合越多，URL 數量就呈几何級增長。
结果是三件事同时發生：抓取预算被大量低质列表頁分走；站内出現大量内容高度重复的頁面；真正需要被收錄的文章反而排在了後面。
先盘点：站里有哪些自動生成的頁面
- 标簽頁與话题頁：一個词一個頁面，几篇内容也能生成一個。
- 日期归档：按年、按月、按日都可能各有一套 URL。
- 作者頁與来源頁：只有一個作者时，作者頁和首頁内容几乎一样。
- 篩選與排序參數：分類、價格、排序方式叠加出的组合頁。
- 分頁序列：列表頁翻到第二十頁之後基本没人看。
按三類分別處理
保留
有獨立編輯内容、有明确搜尋需求、有稳定訪問量的聚合頁。比如一個核心话题頁，除了列表之外還寫了導语、分類說明和相關導航。這類頁面值得留在 sitemap 里，也應该從栏目頁和内鏈里指過去。
限制
有一定訪問量但内容全靠自動拼接的标簽頁。可以做几件事：只保留内容數量達到阈值的标簽，比如少于五篇内容就不生成頁面；给這類頁面寫上與列表首屏一致的标题和描述；把翻頁超過一定深度的頁面设為不再索引。
收敛
纯參數组合、空标簽、只有一個作者的作者頁、没有内容的日期归档。這些頁面的常见處理方式是返回 404 或 410，或者用 robots.txt 挡掉抓取、用 noindex 挡掉收錄，两者選其一即可，不必同时上。要注意 robots.txt 只能阻止抓取，不能阻止收錄；如果頁面已经被索引，用 noindex 更合适。
動手前的检查清單
- 拉一份最近的抓取日誌，統計蜘蛛訪問量最高的 100 個 URL，看其中有多少是聚合頁。
- 對照 sitemap，數一數其中聚合頁的占比。
- 随机抽 20 個标簽頁，看标题、描述、正文是否几乎一样。
- 確認站内有没有指向空标簽或空归档的内鏈入口。
- 检查分頁是否可無限翻，最後一頁之後是否還能返回正常頁面。
聚合頁的取舍没有统一标准，判断依據可以简化成一句：這個頁面能不能獨立满足一次搜尋或一次浏览需求。如果不能，它更接近一层導航，而不是一頁内容。
調整之後观察什么
改動生效需要時間。上线後重点看三件事：抓取日誌里文章頁的訪問占比是否上升；索引量是否先降後稳；核心文章的曝光和点击有没有明顯下滑。如果索引量下降但文章頁被抓取得更多，通常說明方向是對的。整個調整建议分批做，一次只處理一類聚合頁，方便回滚，也方便判断效果到底来自哪一步。