做站点运营的人经常会遇到一个对不上的数字：网站里真正需要运营的页面可能只有几百个，但索引里的 URL 却是这个数字的好几倍。这种「索引中的 URL 数量远超实际有价值页面数量」的情况，一般叫索引膨胀。它本身不是惩罚，但会带来几个很实际的麻烦。
索引膨胀会带来什么
- 抓取预算被摊薄：蜘蛛每次来访能抓取的 URL 数量有限，如果大量低价值 URL 占着位置，重要页面的更新和新建页面就只能排在后面。
- 信号被稀释：同一批内容以多种参数变体存在时，外链和用户行为数据会分散到不同 URL 上，很难集中到代表页。
- 报表失真：索引报告里「已编入索引」的数字看着不少，但对不上实际流量，排查问题时容易被误导方向。
常见的膨胀来源
参数组合生成出来的页面
筛选、排序、分页、会话、追踪参数，任意两三个叠加就能滚出成千上万个 URL。绝大多数组合既没有独立搜索需求，也没有人从站外链接过来。
站内搜索结果页
搜索关键词的排列组合几乎是无限的，这类页面内容单薄，又和主页面高度重复，是膨胀的常见来源之一。
归档与聚合页
按标签、作者、日期、月份自动生成的归档列表，如果本身没有独立价值，也很容易一个个进入索引。
技术性重复
带与不带 www、http 与 https、结尾有没有斜杠、路径大小写、带不带 index 后缀，如果不做统一跳转，可能各自成为一个可访问地址。
先摸清规模，再决定动作
动手清理之前，先确认问题到底有多大：
- 用 site 查询（例如 site:example.com）大致看索引规模。注意这个数字并不精确，只适合做量级判断，不要当成准确值。
- 在站点后台的页面索引报告里按「已编入索引」分组查看，重点找那些你根本不打算运营的路径。
- 把服务器日志里被频繁抓取的 URL，和 sitemap 中主动提交的 URL 做对比，差集往往就是膨胀的来源。
收敛的处理顺序
第一步：先停止继续生成
最常见的情况不是旧 URL 没清理，而是一边清理一边还在生成新的参数链接。比如模板里默认输出带排序参数的链接、相关推荐里拼接了追踪参数。不先把出口堵住，清理速度很难追上生成速度。
第二步：按类型分别处理
- 完全没有价值、也不该被访问的：考虑直接删掉或返回 404 / 410。
- 有独立价值但结构重复的：用 canonical 指向代表页，让搜索引擎优先选择那一条。
- 需要保留可访问性、但不该进索引的：用 noindex，注意这里不要用 robots.txt 去挡。
- 已经积累外链的旧地址：用 301 跳到新地址，把已有信号带过去。
第三步：观察一段时间再迭代
索引的增删都需要时间，改动之后不要指望立刻见效。建议分批处理并记录每一批做了什么，等下一轮再对照数据看哪一类处理有效、哪一类还需要换方法。
robots.txt 屏蔽和 noindex 不要同时用在同一批 URL 上。被 robots.txt 挡住的页面，搜索引擎抓不到页面里的 noindex 指令，结果可能是这些 URL 长期停留在「已发现」状态而不退出。
不必追求索引越少越好
收敛的目标是让索引里留下的 URL 和实际要运营的页面大致对应，而不是把数字压到最低。有些看起来多余的地址，如果确实有站外链接、有稳定访问，保留下来也是合理的选择。判断标准始终是三条：这个 URL 有没有独立价值、有没有人从站外来、有没有对应的搜索需求。三条都说不清的，才轮到清理。