收錄量涨了,不等于有效頁面變多
很多站点盯着收錄數量這個數字看:從几千涨到几萬,看起来是好事。但真正决定流量的是索引里有多少能被用戶搜到、点進去也不失望的頁面。当收錄的增長主要来自篩選组合頁、站内搜尋结果、自動拼接頁时,索引其實在膨胀,好頁面的位置反而被挤压。
索引膨胀通常来自哪几類頁面
站内搜尋结果頁與篩選组合頁
一次篩選生成一個 URL,颜色×尺寸×排序×翻頁,很容易组合出成千上萬個地址,而里面的内容基本是同一批商品。這類頁面既没有獨立搜尋需求,也几乎不带来轉化。
薄内容與自動聚合頁
只有一两句话的简介頁、只有标题和日期的归档頁、把其他頁面标题拼起来的聚合頁,都属于薄内容。它們單看無害,成規模出現时會明顯拉低站点整体的质量判断。
重复與近似重复
带追踪參數的版本、大小寫和末尾斜杠的差异、HTTP 與 HTTPS 或 www 與非 www 並存,都會以多個 URL 的形式占據索引位置,互相分流信号。
已失效却未登出的舊頁面
下架、合並、改版之後留下的 404 或空壳頁,如果没有给足處理信号,可能長期留在索引里,繼續被抓取、繼續被訪問。
它為什么會拖慢重要頁面
- 抓取预算被摊薄:蜘蛛把時間花在组合頁上,目标頁面的抓取频次就上不去。
- 内鏈權重被稀释:每個頁面都分走一部分連結,真正想推的頁面拿到的反而更少。
- 站点整体质量被平均:大量低價值頁面混在同一批 URL 里,會让索引對整站内容的判断變得模糊。
怎么判断自己的站有没有膨胀
不需要全量分析,分层抽样就足够說明問题。
- 按目錄或模板分层,各抽几十條 URL,逐條看它有没有對應搜尋需求、有没有獨立内容。
- 對比两個數:索引總量,和實际产生曝光與点击的 URL 數量。差距越大,膨胀越明顯。
- 翻服務器日誌,統計蜘蛛訪問量排名靠前的 URL 模板,看它們是不是你想要的那批。
- 拿日誌里的高频 URL 和带来真實訪問的落地頁做對照,重合度低就是信号。
收敛的顺序:先入口,再信号,最後索引
- 先處理入口:站内搜尋结果頁、無限篩選頁不生成可抓取的連結,或在連結层面做限制,减少被發現的路径。
- 再统一信号:canonical 指向要保留的那一個 URL,站点地图只放准备收錄的地址,別把全部變体都提交進去。
- 最後動索引:對确定無價值的頁面用 noindex,但要先保證它允许被抓取,否則規則看不到。
- 分批观察:一次只改一類模板,用同一批 URL 前後對比,三到八周看一次结果。
收錄數量下降不一定是坏事。如果减少的是没有搜尋需求、没有轉化路径的 URL,總量下降而目标頁面曝光上升,是很常见的正常结果。
收敛之後盯哪两件事
第一,目标頁面的抓取频次和索引狀態有没有改善;第二,索引里剩下的 URL 是否和站点地图、内鏈结构對得上。如果收敛做了几周目标頁面毫無變化,說明問题不在膨胀,得回头查頁面本身的内容质量,以及抓取和响應层有没有異常。