很多人看收錄數字，預設是越多越好。但当被索引的 URL 數量遠超過站点實际有價值的内容頁面时，這個數字反而會變成负担。业内常把這種情况叫「索引膨胀」：索引里有大量頁面，真正能带来訪問、能代表站点内容的却只有一小部分。
索引膨胀是什么样
典型特征是几個數字對不上：URL 總量很大，被索引的 URL 也很多，但有效收錄長期停留在很低的量級。另一種表現是，索引覆盖报告里同類頁面成百上千條，頁面上却几乎是同一份内容，只是參數、排序或篩選條件不同。
它不是某一處配置寫错造成的，通常是站点的 URL 生成方式、内鏈结构和歷史遗留問题叠加後的结果。
常见来源
- 篩選、排序、分頁參數自由组合，生成大量内容相似的列表頁。
- 站内搜尋结果頁、标簽聚合頁、日歷頁被放開抓取。
- 會话 ID、来源跟踪參數出現在内鏈里，同一條内容有几十個地址。
- UGC 站点里用戶生成的低质頁面、空頁面被索引。
- 舊版頁面未做處理，與新頁面同时存在于索引中。
- 分頁規則没有收口，列表一直翻到很深的頁碼。
為什么值得收口
第一是抓取资源。蜘蛛對單個站点的抓取有节奏和上限，大量低價值 URL 會分走抓取次數，新内容和高價值頁面的發現速度被拖慢。第二是质量判断。站点里大比例的被索引頁面内容稀薄或高度重复，會影响整站内容质量的评估，進而影响其他頁面的收錄與展現。第三是資料可讀性。索引覆盖报告會被噪声填满，真正的問题頁面不容易被發現。
排查顺序
- 統計被索引 URL 的類型分布，按路径前缀和參數归類，找出占比最大的几類。
- 随机抽样打開這些 URL，確認它們是否真的有獨立内容，以及是否有用戶入口。
- 查看内鏈：這些 URL 是從哪些頁面被鏈出去的，入口頁面是否可以被控制。
- 核對 canonical、robots、noindex 的實际生效情况，注意是否存在前後矛盾。
- 對照服務器日誌，看蜘蛛在這些 URL 上花費的抓取比例有多大。
收口手段
從入口控制
最省事的一层是不再生成指向低價值 URL 的連結：内鏈只指向主版本，篩選和排序结果不進入内鏈，搜尋结果頁不對外投放連結。蜘蛛發現 URL 的路径少了，這類地址被大量抓取的前提也就不存在了。
從頁面标记控制
需要保留给用戶看、但不希望進索引的頁面，使用 noindex；多個地址指向同一份内容时，统一 canonical 到主版本，並把内鏈、sitemap、分享連結都對齐到主版本。robots.txt 适合屏蔽大面积、無差別抓取的目錄，但它只控制抓取，不控制索引，不要把它当成下架工具。
從規則控制
參數组合要有上限：頁碼只開放到合理深度，篩選维度固定，不允许多维自由叠加。UGC 頁面設定發布门槛或先审後放。
收口之後看什么
調整後不要只盯被索引總數，它通常下降得比較慢。更值得观察的是：抓取次數在主力頁面上的占比是否上升，新頁面第一次被抓取的時間是否缩短，索引覆盖报告里「已發現未索引」「重复内容」的占比是否下降，以及主力頁面本身的曝光和点击是否稳定。
索引膨胀的收口是减法，短期内收錄數字變小是正常的。判断标准不是數字大小，而是索引里留下来的頁面，有多少是真正值得被检索的。