大多數运营者盯着的是「收錄變少了怎么办」，但收錄變多同样會带来問题。当站点里大量模板化、重复、几乎没人訪問的 URL 被搜尋引擎收進索引，往往會出現一種状况：索引規模在涨，真正能被搜到的有效頁面却没有變多。這就是通常说的索引膨胀。
它不是某種惩罚，而是站点自身内容结构和生成机制的结果。理解它，比單纯追求收錄數字更有意义。
索引膨胀的典型表現
- 收錄量持續增長，但来自自然搜尋的落地頁數量没有同步增長；
- 曝光高度集中在少數几個頁面，其余大量頁面長期零曝光；
- 抓取日誌里，模板化目錄（标簽、作者、篩選、归档）反复被訪問，而正文頁的抓取频次被压缩；
- 索引中出現大量高度相似的标题與摘要。
常见的膨胀来源
- 篩選與排序參數：颜色、價格区間、排序方式等，每個组合生成一個 URL；
- 标簽頁、作者頁、日期归档：數量随内容累积自動膨胀；
- 站内搜尋结果頁：本無獨立價值，却容易被收錄；
- UGC 低质頁面：评论墙、無正文的提問頁；
- 測試頁、歷史遗留目錄、多协议或多域名副本。
先判断：這些頁面值得被收錄吗
可以用三個條件大致篩選：是否存在獨立的搜尋需求、内容是否自足、是否有人從站内入口訪問到它。三條都不满足的，通常可以归入需要收口的范围。
反過来，只要满足其中一條，就別急着清理——比如某個篩選頁确實有人搜尋，且頁面上展示的商品组合是獨立可用的，它可能是有價值的。
自查顺序
- 用站内目錄做粗粒度抽样，先在搜尋里看该目錄下大致被收錄了多少；
- 在抓取日誌中按目錄統計訪問量，找出「被大量抓取、却几乎没有收錄或没有曝光」的目錄；
- 把效果資料按目錄或頁面分组，看曝光與点击的分布是否极度集中；
- 把頁面分成四類：保留、合並、需要屏蔽、直接下线。分類结果要落在具体 URL 模式上，而不是零散頁面。
几種收口方式的邊界
noindex
适合頁面仍要保留给用戶訪問、但不希望出現在索引里的情况。它需要頁面能被正常抓取，否則标簽讀不到。注意它不阻止抓取，抓取预算的消耗不會因此减少。
canonical
适合同一内容存在多個入口的场景，用来把權重與索引指向一個規范版本。前提是 canonical 指向的頁面本身可訪問、可索引，否則容易两头落空。
robots.txt 屏蔽
适合大規模地让某類 URL 不再被抓取。但要清楚：已经被收錄的 URL 不會因為屏蔽就立刻從索引消失，而且屏蔽後頁面上的 noindex 也無法被讀到。對已有收錄的目錄，通常先 noindex、等索引更新後再屏蔽，顺序更稳妥。
合並與下线
内容确實重复且没有保留價值的，合並到主頁面並做跳轉；確認不再需要的頁面直接返回 404 或 410，让索引自然移除。長期返回 200 的空壳頁反而更麻烦。
不要一次性给成千上萬個頁面加上 noindex。如果誤判，恢复收錄需要的時間往往比清理本身更長。按目錄分批處理，每次改動後留出观察窗口。
收口之後看什么
別只盯着索引數量這一個數字。更有參考價值的是三件事：剩余頁面的抓取频次有没有回升、曝光是否更集中到有效頁面、模板层還會不會繼續产出同類 URL。观察周期建议以周為單位，短期内數字波動属于正常。
常见誤区
- 把 noindex 当萬能药，忽略了頁面仍在消耗抓取；
- 只清理存量，不修改生成規則，几個月後同样的目錄又長回来；
- 用屏蔽代替判断，把可能有搜尋需求的頁面一起挡掉。
索引膨胀的本质是「产出速度超過了内容價值」。清理只是补救，真正的解法是让模板层不再無差別地生成 URL——该合並的合並，该只在站内保留的不给獨立地址，该加的抓取與索引约束提前加上。