站点运行一段时间后，索引量持续增长，但搜索流量和可见性并没有同步变化。这种情况往往不是收录环节出了问题，而是索引里混进了大量本不该被收录的页面。索引数量本身不是目标，它只是一个中间指标。
索引膨胀通常来自哪几类页面
站内搜索结果页
站内搜索会为每个查询词生成一个可访问的地址。用户搜「某关键词」得到 /search?q=...，蜘蛛顺着链接或用户分享抓到之后，就可能把它当成一个独立页面处理。这类页面由查询词决定内容，组合几乎无限，彼此之间高度重复，属于典型的低价值页面。
处理方式通常有三步：在 robots.txt 里屏蔽搜索路径、给页面加 noindex、同时不要在页面上大量输出可爬取的搜索链接。三件事里漏掉任何一件，效果都会打折扣。
自动生成的聚合页与标签页
标签、分类、作者、时间归档这类页面，数量少的时候是有价值的导航入口。但一旦组合条件放开，比如标签叠加时间、叠加排序方式，页面数量会快速膨胀，其中大部分只包含一两条内容，信息量很低。
判断标准可以简单一点：这个聚合页对应的组合，现实中会不会有人去搜？如果不会，它更适合作为站内导航存在，而不是被索引。
空结果页、占位页与测试页
查询无结果、列表为空、开发阶段遗留的测试页面，只要能正常返回 200 且没有被屏蔽，就可能被抓取。这类页面往往没有正文，或者只有一句提示语，对用户和搜索引擎都没有价值。
会话与跟踪参数
带会话 ID、分享来源参数的链接，会让同一份内容产生多个地址。这部分展开会很长，这里只提醒一点：不要让这类链接出现在站内链接和 sitemap 里，否则蜘蛛会顺着它们反复访问同一批内容。
怎么判断一个页面是否属于低价值
不必追求精确，可以先看几个信号：
- 页面是否有独立的搜索需求，也就是有人真的会去搜它
- 内容是否由用户输入或参数动态拼出来，且组合数量没有上限
- 同一批页面之间的内容相似度是否过高
- 是否有外部链接或真实流量指向它
- 是否承担了站内导航作用，若是，可以保留可抓取、加 noindex
处理顺序：先止血，再清理
清理索引里的低价值页面，动作顺序比动作本身更重要。
- 先切断来源。站内链接、sitemap、列表分页里不再输出这些地址，避免一边清理一边新增。
- 再用 noindex 让已收录的页面逐步退出索引。前提是页面仍然可以被抓取，否则蜘蛛读不到 noindex，等于没加。
- 确实没有保留价值的页面，可以返回 404 或 410；有明确替代页面的，用 301 指向新地址。
- 留出一段时间观察，看索引量、抓取分布和落地页数据的变化。索引更新不是即时动作，不要指望一次调整马上见效。
noindex 和 robots.txt 同时用要格外小心。robots.txt 一旦屏蔽了抓取，蜘蛛就读不到页面上的 noindex，已经收录的地址可能长期留在索引里。通常做法是：需要退出的页面先保持可抓取并加 noindex，等确认退出后再考虑是否屏蔽。
清理之后要留意什么
清理可能会让索引量下降，这本身不是坏事。更重要的是看留下来的页面，抓取频次是否更集中、有效落地页的比例是否提升。如果清理后核心页面的抓取并没有变多，那说明问题可能不在低价值页面上，而要回到内链结构和页面质量上找原因。
另外，低价值页面的产生往往来自模板和参数设计，不是一次性问题。新的筛选条件、新的内容类型上线时，最好同步确认一下 URL 会不会被批量生成、会不会进入索引。
小结
收录不是越多越好。索引里留下的，应该是用户真正可能搜到、点开、读完的页面。定期检查索引构成，比盯着索引总量更有意义。