收录量上涨，不一定代表站点变好
很多站点把「收录了多少条」当成运营指标，看到索引数上涨就觉得内容起作用了。但索引是一个池子，池子里装的不只是你希望被搜到的页面。站内搜索结果页、筛选组合页、空的分类页、重复的标签归档，都可能在某次抓取之后悄悄落了进去。它们很少带来流量，却会占用抓取时间、混淆同类内容的地址，也让后台的收录数字看起来在涨、实际没什么用。
这些页面是怎么进索引的
大多数情况不是被谁提交进去的，而是被蜘蛛顺着链接走到的。
- 站内搜索结果页：只要结果地址可以被外部访问，任何一个带查询参数的地址都可能被抓到。
- 参数组合页：排序、筛选、分页参数互相叠加，能生成成百上千个地址，其中大部分组合的结果是空的，或者高度重复。
- 标签页与归档页：同一批文章在标签、日期、作者等维度反复出现，如果每个维度都保留独立地址，索引里就出现了多份相似内容。
- 旧版残留：改版后遗留的测试页、临时目录、旧模板地址，如果没有及时处理，仍然可能挂在索引里。
这些页面的共同点很明确：有地址、能被链接到、能正常返回 200。对蜘蛛来说，它们和内容页没有区别。
堆进索引之后会发生什么
影响通常不是立刻显现的，而是在一段时间里慢慢累积。
- 抓取时间被分散：蜘蛛每次来访的容量有限，花在参数组合上的时间，就是从新内容和重点页面上拿走的。
- 同类内容出现多个地址：搜索引擎需要在多个相似页面里选一个作为代表，选中的不一定是你希望的那个版本。
- 数据统计失真：收录数在涨，自然流量却没变化，看报表时容易误判内容方向。
- 用户落地体验变差：真的有人点进空筛选页，看到的是一片空白和一堆筛选条件。
收录本身不是成绩，能被搜到、并且对用户有用的收录才是。
收敛的顺序：先分类，再动手
- 把已知的低价值地址列出来，按「保留、合并、屏蔽、删除」四类归档。分类没做完就动手，很容易把有用的页面一起关掉。
- 能合并的先合并。多个地址指向同一批内容时，保留一个主版本，其余用 canonical 指向它，同时把内链统一改到主版本上。
- 还需要让用户访问的页面用 noindex 处理，例如站内搜索结果页、需要登录的列表页。抓取仍可能发生，但不会再进索引。
- 整个目录都不需要被抓的，用 robots.txt 挡在抓取之外。注意它只阻止抓取，已经进索引的地址不会因此消失。
- 确实不再需要的页面直接删除，返回 404 或 410，不要长期挂着「正在建设中」的空页面。
- 最后更新 sitemap 和内链，把入口从低价值地址上撤掉，避免蜘蛛再次被引过去。
不要一次性全屏蔽
一次改动过大，之后很难判断效果来自哪一步。可以先处理其中一类，观察一段时间的抓取分布和索引状态，再继续下一类。改动前后各留一份数据，之后才方便对比。
收敛之后怎么确认有效
可以看几个方向：索引里的地址数量有没有回落，蜘蛛的抓取是否更多落在内容页上，站内搜索和筛选是否已经不产生新的可访问地址。这个过程通常不快，页面退出索引也需要时间，不要指望几天内看到完整结果。
回到更根本的问题
索引膨胀的根源，往往是同一批内容被拆成了太多地址，或者页面上本来就没有足够的内容值得拥有一个独立 URL。与其事后一个个屏蔽，不如在建站和改版时就想清楚：这个地址独立存在，理由是什么。想不清楚的，通常也就不该被收录。