站点執行一段時間後，索引量持續增長，但搜尋流量和可见性並没有同步變化。這種情况往往不是收錄环节出了問题，而是索引里混進了大量本不该被收錄的頁面。索引數量本身不是目标，它只是一個中間指标。
索引膨胀通常来自哪几類頁面
站内搜尋结果頁
站内搜尋會為每個查询词生成一個可訪問的地址。用戶搜「某關鍵詞」得到 /search?q=...，蜘蛛顺着連結或用戶分享抓到之後，就可能把它当成一個獨立頁面處理。這類頁面由查询词决定内容，组合几乎無限，彼此之間高度重复，属于典型的低價值頁面。
處理方式通常有三步：在 robots.txt 里屏蔽搜尋路径、给頁面加 noindex、同时不要在頁面上大量輸出可爬取的搜尋連結。三件事里漏掉任何一件，效果都會打折扣。
自動生成的聚合頁與标簽頁
标簽、分類、作者、時間归档這類頁面，數量少的时候是有價值的導航入口。但一旦组合條件放開，比如标簽叠加時間、叠加排序方式，頁面數量會快速膨胀，其中大部分只包含一两條内容，信息量很低。
判断标准可以简單一点：這個聚合頁對應的组合，現實中會不會有人去搜？如果不會，它更适合作為站内導航存在，而不是被索引。
空结果頁、占位頁與測試頁
查询無结果、列表為空、開發阶段遗留的測試頁面，只要能正常返回 200 且没有被屏蔽，就可能被抓取。這類頁面往往没有正文，或者只有一句提示语，對用戶和搜尋引擎都没有價值。
會话與跟踪參數
带會话 ID、分享来源參數的連結，會让同一份内容产生多個地址。這部分展開會很長，這里只提醒一点：不要让這類連結出現在站内連結和 sitemap 里，否則蜘蛛會顺着它們反复訪問同一批内容。
怎么判断一個頁面是否属于低價值
不必追求精确，可以先看几個信号：
- 頁面是否有獨立的搜尋需求，也就是有人真的會去搜它
- 内容是否由用戶輸入或參數動態拼出来，且组合數量没有上限
- 同一批頁面之間的内容相似度是否過高
- 是否有外部連結或真實流量指向它
- 是否承担了站内導航作用，若是，可以保留可抓取、加 noindex
處理顺序：先止血，再清理
清理索引里的低價值頁面，動作顺序比動作本身更重要。
- 先切断来源。站内連結、sitemap、列表分頁里不再輸出這些地址，避免一邊清理一邊新增。
- 再用 noindex 让已收錄的頁面逐步登出索引。前提是頁面仍然可以被抓取，否則蜘蛛讀不到 noindex，等于没加。
- 确實没有保留價值的頁面，可以返回 404 或 410；有明确替代頁面的，用 301 指向新地址。
- 留出一段時間观察，看索引量、抓取分布和落地頁資料的變化。索引更新不是即时動作，不要指望一次調整马上见效。
noindex 和 robots.txt 同时用要格外小心。robots.txt 一旦屏蔽了抓取，蜘蛛就讀不到頁面上的 noindex，已经收錄的地址可能長期留在索引里。通常做法是：需要登出的頁面先保持可抓取並加 noindex，等確認登出後再考虑是否屏蔽。
清理之後要留意什么
清理可能會让索引量下降，這本身不是坏事。更重要的是看留下来的頁面，抓取频次是否更集中、有效落地頁的比例是否提升。如果清理後核心頁面的抓取並没有變多，那說明問题可能不在低價值頁面上，而要回到内鏈结构和頁面质量上找原因。
另外，低價值頁面的产生往往来自模板和參數设計，不是一次性問题。新的篩選條件、新的内容類型上线时，最好同步確認一下 URL 會不會被批量生成、會不會進入索引。
小结
收錄不是越多越好。索引里留下的，應该是用戶真正可能搜到、点開、讀完的頁面。定期检查索引构成，比盯着索引總量更有意义。