收录量涨了,不等于有效页面变多
很多站点盯着收录数量这个数字看:从几千涨到几万,看起来是好事。但真正决定流量的是索引里有多少能被用户搜到、点进去也不失望的页面。当收录的增长主要来自筛选组合页、站内搜索结果、自动拼接页时,索引其实在膨胀,好页面的位置反而被挤压。
索引膨胀通常来自哪几类页面
站内搜索结果页与筛选组合页
一次筛选生成一个 URL,颜色×尺寸×排序×翻页,很容易组合出成千上万个地址,而里面的内容基本是同一批商品。这类页面既没有独立搜索需求,也几乎不带来转化。
薄内容与自动聚合页
只有一两句话的简介页、只有标题和日期的归档页、把其他页面标题拼起来的聚合页,都属于薄内容。它们单看无害,成规模出现时会明显拉低站点整体的质量判断。
重复与近似重复
带追踪参数的版本、大小写和末尾斜杠的差异、HTTP 与 HTTPS 或 www 与非 www 并存,都会以多个 URL 的形式占据索引位置,互相分流信号。
已失效却未退出的旧页面
下架、合并、改版之后留下的 404 或空壳页,如果没有给足处理信号,可能长期留在索引里,继续被抓取、继续被访问。
它为什么会拖慢重要页面
- 抓取预算被摊薄:蜘蛛把时间花在组合页上,目标页面的抓取频次就上不去。
- 内链权重被稀释:每个页面都分走一部分链接,真正想推的页面拿到的反而更少。
- 站点整体质量被平均:大量低价值页面混在同一批 URL 里,会让索引对整站内容的判断变得模糊。
怎么判断自己的站有没有膨胀
不需要全量分析,分层抽样就足够说明问题。
- 按目录或模板分层,各抽几十条 URL,逐条看它有没有对应搜索需求、有没有独立内容。
- 对比两个数:索引总量,和实际产生曝光与点击的 URL 数量。差距越大,膨胀越明显。
- 翻服务器日志,统计蜘蛛访问量排名靠前的 URL 模板,看它们是不是你想要的那批。
- 拿日志里的高频 URL 和带来真实访问的落地页做对照,重合度低就是信号。
收敛的顺序:先入口,再信号,最后索引
- 先处理入口:站内搜索结果页、无限筛选页不生成可抓取的链接,或在链接层面做限制,减少被发现的路径。
- 再统一信号:canonical 指向要保留的那一个 URL,站点地图只放准备收录的地址,别把全部变体都提交进去。
- 最后动索引:对确定无价值的页面用 noindex,但要先保证它允许被抓取,否则规则看不到。
- 分批观察:一次只改一类模板,用同一批 URL 前后对比,三到八周看一次结果。
收录数量下降不一定是坏事。如果减少的是没有搜索需求、没有转化路径的 URL,总量下降而目标页面曝光上升,是很常见的正常结果。
收敛之后盯哪两件事
第一,目标页面的抓取频次和索引状态有没有改善;第二,索引里剩下的 URL 是否和站点地图、内链结构对得上。如果收敛做了几周目标页面毫无变化,说明问题不在膨胀,得回头查页面本身的内容质量,以及抓取和响应层有没有异常。