很多站点运营者把收錄數当成唯一的健康指标，看到索引量上涨就放心。但当收錄數的增長和内容增長不成比例时，多出来的那些 URL 往往不是资产，而是负担，也就是常说的索引膨胀（index bloat）。
索引膨胀的典型表現
它不會让站点立刻出問题，但會带来几個缓慢的副作用：抓取预算被摊薄、新頁面被發現變慢、站点整体的质量信号被拉低。常见表現包括：
- 收錄量長期明顯大于實际有價值的頁面數量，差額迟迟不收敛；
- 索引里大量頁面几乎没有自然流量，也几乎没有外鏈；
- 新發布内容的抓取與首次收錄周期變長；
- 同一批内容以多種 URL 形式被分別收錄。
低價值 URL 通常從哪来
- 參數與篩選组合：排序、篩選、分頁自由组合，生成大量高度近似的頁面。
- 站内搜尋與标簽：搜尋结果頁、空标簽頁、只有一两條内容的标簽頁。
- 分頁尾部：靠後的翻頁基本没人看，却仍然可以被抓取和收錄。
- 會话與追踪參數：带 utm、session id 的連結被外部引用後進入索引。
- 歷史遗留：改版後未處理的舊目錄、測試頁、演示頁。
先判断，再動手：一個自查顺序
- 導出索引資料，按目錄或 URL 模式分组，看哪些分组頁數多、流量低。
- 對可疑分组抽样打開頁面，確認它是重复内容、空内容，還是确有獨立價值。
- 確認這些頁面有没有内鏈入口和外鏈，是否被 sitemap 提交。
- 确定主体内容的規范 URL，先把各種變体指向它。
- 最後再决定是保留、合並、加 noindex，還是直接下线。
不同情况的處理選擇
處理手段要和頁面的實际價值匹配，不要一刀切：
- 有獨立價值但存在重复：用 canonical 指回主版本，保留可訪問性。
- 無獨立價值的變体：加 noindex，同时保持可抓取，不要用 robots.txt 屏蔽，否則無法確認 noindex 是否生效。
- 内容可合並：把若干薄頁面合並成一個更完整的頁面，舊 URL 做 301。
- 彻底無用：確認没有外鏈和流量後返回 410 或 404，比長期挂着更干净。
- 仍有價值的舊内容：更新原頁面通常比新建 URL 更合适，可以直接避免重复。
做完之後看什么
調整之後不要只盯着收錄數下降。更值得观察的是：有效頁面的收錄比例、新頁面的首次收錄速度、抓取在目錄之間的分布是否更集中。索引總量减少而有效頁面收錄更稳定，通常属于正向變化。
收錄數是一個结果指标，不是目标。真正要盯的是：被收錄的頁面里，有多少是用戶會点、站点也愿意為其负责的。
索引膨胀的處理是一個持續過程，而不是一次性清理。每次新增功能或調整 URL 结构之前，先估算它會新增多少可抓取 URL，往往比事後收拾要省力得多。