很多站点运营把收錄量当成绩單,索引數涨了就安心。但搜尋引擎的抓取和索引资源都有限,大量低價值 URL 被收錄,會稀释站点整体质量判断,也让資料里真正重要的頁面被淹没。索引瘦身不是删内容,而是把不该出現在搜尋结果里的 URL 主動收口。
收錄多和索引膨胀是两回事
内容正常增長,收錄數上升是自然结果。需要警惕的是另一種情况:URL 數量涨得比有效内容快,新增頁面大多没有獨立搜尋需求,或者只是參數、排序、分頁组合出来的重复版本。這时收錄量偏高反而會带来负担。
哪些 URL 通常不值得留在索引里
- 站内搜尋结果頁、篩選參數頁,尤其是參數可自由组合的頁面;
- 分頁過深的列表頁,比如第 5 頁以後;
- 只有标题列表、没有獨立說明的标簽頁、归档頁、作者頁;
- 带會话 ID、跟踪參數、排序參數生成的重复 URL;
- 測試頁、占位頁、空分類頁。
判断顺序:先看需求,再看质量,最後看重复
- 有没有獨立搜尋需求:用搜尋下拉、相關搜尋或關鍵詞工具驗證。没人會單獨搜這個列表頁,它通常不值得被索引。
- 是否提供了列表之外的獨特信息:如果頁面只是把其他頁面标题聚合一遍,價值有限。
- 是否存在規范版本:同一内容有多個 URL 时,先做 canonical 或 301,而不是直接删。
- 是否被内鏈大量指向:内鏈是抓取入口,入口不减少,收口會很慢。
收口手段別混用
不同手段作用不同,選错會拖慢處理:
- 還想让用戶訪問,但不想被索引:用 noindex,同时保證頁面可被抓取,否則搜尋引擎看不到這個指令;
- 内容已迁移:301 到新 URL,让權重和用戶一起過去;
- 内容彻底不要:返回 404 或 410,410 更明确;
- 只是不想被抓:robots.txt 只阻止抓取,不能阻止已收錄 URL 出現在结果里,別把它当收口手段;
- sitemap:只提交想让搜尋引擎收錄的 URL,把低價值 URL 移出,但移出 sitemap 不等于刪除或收口。
内鏈和 sitemap 要同步處理
只给頁面加 noindex,站内却到處連結,蜘蛛還會反复抓取,處理周期會被拉長。更稳的做法是同时减少低價值頁面的内鏈入口,把連結改指向更有價值的頁面;sitemap 同步清理;如果是參數生成的 URL,可以在搜尋资源平台里控制參數抓取路径。注意,如果先用 robots.txt 阻止抓取,noindex 可能無法被看到。
观察周期:不要今天改明天看
收口是慢過程。已收錄 URL 從索引移除需要重新抓取並處理,可能几天到几周。建议按批次處理,一次只改一類 URL,用 site 查询、覆盖率报告和日誌抓取频次三項交叉看。重点看三個變化:该類 URL 的抓取频次是否下降、索引數是否缓慢减少、重要頁面的抓取是否增加。
一個可执行的優先級
- 參數重复和會话 URL:先做 canonical 或 301;
- 空分類、測試頁、占位頁:直接 410;
- 深分頁、無獨立需求的标簽頁:noindex 加减少内鏈;
- 有搜尋需求但内容單薄的頁面:先补内容,不要急着 noindex。
收錄量只是過程指标,不是目标。真正要盯的是重要頁面有没有被稳定抓取和收錄,以及它們能不能在搜尋结果里拿到展現。
索引瘦身的目标不是让收錄數好看,而是让搜尋引擎把有限的抓取和索引资源放在你真正想让人看到的 URL 上。分批、可回滚、有观察指标,比一次性大改更稳。