收錄數量上涨,多數人第一反應是好事。但如果涨上来的頁面本身没什么检索價值——标簽頁、篩選结果、站内搜尋 URL、内容近似的多個版本——那就不是收錄變好,而是索引膨胀:抓取预算被摊薄,站点主题信号被稀释,真正重要的頁面反而更难被稳定评估。
先分清收錄數量與站点健康
收錄是搜尋引擎给出的“我看到了,並且愿意放進索引”的狀態,它不承诺展現,也不代表頁面有價值。一個十萬 URL 的站点有九萬被收錄,如果其中六萬是自動生成的薄頁面,這個數字其實是在提示問题,而不是成绩。反過来,真正有内容、有搜尋需求的頁面被收錄的比例,才是更值得盯的指标。
索引膨胀的常见来源
多數膨胀不是意外,而是模板和參數自然生長的结果:
- 自動生成的聚合頁:标簽頁、归档頁、作者頁,以及分類下的各種组合篩選,一旦數量不受控,很容易成倍放大。
- 參數 URL:排序方式、每頁條數、追踪參數、會话 ID,同一個頁面可以對應几十個地址。
- 翻頁深處:前几頁還有人看,第几十頁既没内容也没内鏈,却仍留在索引里。
- 站内搜尋结果頁:這類頁面几乎全部由其他頁面拼接而成,内容重复且没有獨立價值。
- 内容近似重复:不同域名、http 與 https、带 www 與不带 www、结尾斜杠、大小寫,各自都可能被当成一個 URL。
- 附件與打印版本:给用戶用的功能頁,不必都進索引。
怎么判断是不是真的膨胀
不要只看一個總數。可以從三件事對照着看:
- 在站長後台的覆盖率报告里,按目錄或頁面類型抽样,看“已编入索引”的 URL 里有多少属于上面那几類。
- 從蜘蛛日誌里抽样,看抓取频次被哪些目錄吃掉。如果大量抓取停在參數頁和空白聚合頁上,就說明预算分配出了問题。
- 看實际效果:這些被收錄的頁面有没有任何自然搜尋点击。收錄很久、点击長期為零的模板頁,通常没有保留理由。
收錄是结果,不是目标。判断标准應该是“用戶有没有可能搜到它、並且觉得有用”,而不是“它有没有被抓到”。
處理顺序:先止血,再清理
比較稳妥的做法是先把水龙头關上,再拖地:
- 列出保留名單:内容頁、必要的分類頁、服務頁明确保留;其余按類型决定去留。
- 给不保留的頁面選擇正确的關閉方式:希望它完全不進索引,用 noindex,並确保蜘蛛能抓到這條指令;只是不想让它浪費抓取预算,才考虑在 robots.txt 里屏蔽抓取。两者不能互換。
- 收口重复 URL:參數頁用規范連結或後台參數工具指向主版本,协议、域名前缀、大小寫、尾斜杠统一到唯一形式。
- 切断内鏈:如果内鏈仍在大批指向這些頁面,蜘蛛會持續發現它們,只改 sitemap 效果有限。
- 观察後再说:關閉生效需要時間,別一两天没變化就频繁換策略。
几個容易踩的坑
- 用 robots.txt 屏蔽了頁面,又期待它從索引里消失——被屏蔽意味着蜘蛛看不到 noindex,反而可能更久地留在索引里。
- 批量下线时返回 404 或 410 都可行,但如果頁面還有外鏈和搜尋需求,保留一個指向替代内容的頁面通常更合适,而不是直接删掉。
- canonical 指向的目标頁自己也不该被收錄,等于把問题挪了個地方。
- 只改一處、不看全鏈路:模板、内鏈、sitemap、參數設定往往要一起改才有效果。
做完减法之後
索引規模降下来,不一定立刻看到排名變化,但通常能看到抓取分布更集中在重要頁面,站点整体也更干净。之後的重点就轉到“补”:找出真正有價值、目前却還没進索引的頁面,检查它們的点击深度、内鏈入口和内容完整度,让收錄的方向和站点目标保持一致。