很多人看收录数字，默认是越多越好。但当被索引的 URL 数量远超过站点实际有价值的内容页面时，这个数字反而会变成负担。业内常把这种情况叫「索引膨胀」：索引里有大量页面，真正能带来访问、能代表站点内容的却只有一小部分。
索引膨胀是什么样
典型特征是几个数字对不上：URL 总量很大，被索引的 URL 也很多，但有效收录长期停留在很低的量级。另一种表现是，索引覆盖报告里同类页面成百上千条，页面上却几乎是同一份内容，只是参数、排序或筛选条件不同。
它不是某一处配置写错造成的，通常是站点的 URL 生成方式、内链结构和历史遗留问题叠加后的结果。
常见来源
- 筛选、排序、分页参数自由组合，生成大量内容相似的列表页。
- 站内搜索结果页、标签聚合页、日历页被放开抓取。
- 会话 ID、来源跟踪参数出现在内链里，同一条内容有几十个地址。
- UGC 站点里用户生成的低质页面、空页面被索引。
- 旧版页面未做处理，与新页面同时存在于索引中。
- 分页规则没有收口，列表一直翻到很深的页码。
为什么值得收口
第一是抓取资源。蜘蛛对单个站点的抓取有节奏和上限，大量低价值 URL 会分走抓取次数，新内容和高价值页面的发现速度被拖慢。第二是质量判断。站点里大比例的被索引页面内容稀薄或高度重复，会影响整站内容质量的评估，进而影响其他页面的收录与展现。第三是数据可读性。索引覆盖报告会被噪声填满，真正的问题页面不容易被发现。
排查顺序
- 统计被索引 URL 的类型分布，按路径前缀和参数归类，找出占比最大的几类。
- 随机抽样打开这些 URL，确认它们是否真的有独立内容，以及是否有用户入口。
- 查看内链：这些 URL 是从哪些页面被链出去的，入口页面是否可以被控制。
- 核对 canonical、robots、noindex 的实际生效情况，注意是否存在前后矛盾。
- 对照服务器日志，看蜘蛛在这些 URL 上花费的抓取比例有多大。
收口手段
从入口控制
最省事的一层是不再生成指向低价值 URL 的链接：内链只指向主版本，筛选和排序结果不进入内链，搜索结果页不对外投放链接。蜘蛛发现 URL 的路径少了，这类地址被大量抓取的前提也就不存在了。
从页面标记控制
需要保留给用户看、但不希望进索引的页面，使用 noindex；多个地址指向同一份内容时，统一 canonical 到主版本，并把内链、sitemap、分享链接都对齐到主版本。robots.txt 适合屏蔽大面积、无差别抓取的目录，但它只控制抓取，不控制索引，不要把它当成下架工具。
从规则控制
参数组合要有上限：页码只开放到合理深度，筛选维度固定，不允许多维自由叠加。UGC 页面设置发布门槛或先审后放。
收口之后看什么
调整后不要只盯被索引总数，它通常下降得比较慢。更值得观察的是：抓取次数在主力页面上的占比是否上升，新页面第一次被抓取的时间是否缩短，索引覆盖报告里「已发现未索引」「重复内容」的占比是否下降，以及主力页面本身的曝光和点击是否稳定。
索引膨胀的收口是减法，短期内收录数字变小是正常的。判断标准不是数字大小，而是索引里留下来的页面，有多少是真正值得被检索的。