收录数量上涨,多数人第一反应是好事。但如果涨上来的页面本身没什么检索价值——标签页、筛选结果、站内搜索 URL、内容近似的多个版本——那就不是收录变好,而是索引膨胀:抓取预算被摊薄,站点主题信号被稀释,真正重要的页面反而更难被稳定评估。
先分清收录数量与站点健康
收录是搜索引擎给出的“我看到了,并且愿意放进索引”的状态,它不承诺展现,也不代表页面有价值。一个十万 URL 的站点有九万被收录,如果其中六万是自动生成的薄页面,这个数字其实是在提示问题,而不是成绩。反过来,真正有内容、有搜索需求的页面被收录的比例,才是更值得盯的指标。
索引膨胀的常见来源
多数膨胀不是意外,而是模板和参数自然生长的结果:
- 自动生成的聚合页:标签页、归档页、作者页,以及分类下的各种组合筛选,一旦数量不受控,很容易成倍放大。
- 参数 URL:排序方式、每页条数、追踪参数、会话 ID,同一个页面可以对应几十个地址。
- 翻页深处:前几页还有人看,第几十页既没内容也没内链,却仍留在索引里。
- 站内搜索结果页:这类页面几乎全部由其他页面拼接而成,内容重复且没有独立价值。
- 内容近似重复:不同域名、http 与 https、带 www 与不带 www、结尾斜杠、大小写,各自都可能被当成一个 URL。
- 附件与打印版本:给用户用的功能页,不必都进索引。
怎么判断是不是真的膨胀
不要只看一个总数。可以从三件事对照着看:
- 在站长后台的覆盖率报告里,按目录或页面类型抽样,看“已编入索引”的 URL 里有多少属于上面那几类。
- 从蜘蛛日志里抽样,看抓取频次被哪些目录吃掉。如果大量抓取停在参数页和空白聚合页上,就说明预算分配出了问题。
- 看实际效果:这些被收录的页面有没有任何自然搜索点击。收录很久、点击长期为零的模板页,通常没有保留理由。
收录是结果,不是目标。判断标准应该是“用户有没有可能搜到它、并且觉得有用”,而不是“它有没有被抓到”。
处理顺序:先止血,再清理
比较稳妥的做法是先把水龙头关上,再拖地:
- 列出保留名单:内容页、必要的分类页、服务页明确保留;其余按类型决定去留。
- 给不保留的页面选择正确的关闭方式:希望它完全不进索引,用 noindex,并确保蜘蛛能抓到这条指令;只是不想让它浪费抓取预算,才考虑在 robots.txt 里屏蔽抓取。两者不能互换。
- 收口重复 URL:参数页用规范链接或后台参数工具指向主版本,协议、域名前缀、大小写、尾斜杠统一到唯一形式。
- 切断内链:如果内链仍在大批指向这些页面,蜘蛛会持续发现它们,只改 sitemap 效果有限。
- 观察后再说:关闭生效需要时间,别一两天没变化就频繁换策略。
几个容易踩的坑
- 用 robots.txt 屏蔽了页面,又期待它从索引里消失——被屏蔽意味着蜘蛛看不到 noindex,反而可能更久地留在索引里。
- 批量下线时返回 404 或 410 都可行,但如果页面还有外链和搜索需求,保留一个指向替代内容的页面通常更合适,而不是直接删掉。
- canonical 指向的目标页自己也不该被收录,等于把问题挪了个地方。
- 只改一处、不看全链路:模板、内链、sitemap、参数设置往往要一起改才有效果。
做完减法之后
索引规模降下来,不一定立刻看到排名变化,但通常能看到抓取分布更集中在重要页面,站点整体也更干净。之后的重点就转到“补”:找出真正有价值、目前却还没进索引的页面,检查它们的点击深度、内链入口和内容完整度,让收录的方向和站点目标保持一致。