查看站点收錄資料时，如果頁面數量在一两周内明顯上涨，很多人的第一反應是「收錄變好了」。但數量上涨和内容變好是两件事。多數情况下，多出来的那部分並不是新寫的文章，而是站内本来就存在、只是之前没被算進来的 URL 變体。
先確認數量變化是不是統計口径的問题
在動手清理之前，先花十分钟排除誤判。以下几種情况會让數字看起来在涨，但和内容质量無關：
- 不同查询工具返回的是估算值，本身有波動，前後差几百條不一定是真實變化。
- 站点做過 URL 结构調整、上线新模板、放開某類归档頁，數量會一次性跳變。
- 移動版、打印頁等歷史镜像頁面被重新抓取，也會让總數變大。
排除之後再看曲线形状。阶梯式上涨通常對應一次明确的改動，斜线式缓慢上涨往往意味着有模板在持續生产新 URL，這才需要認真處理。
多出来的頁面通常集中在這几類
URL 變体
大小寫、结尾是否带斜杠、是否带 index.html、http 與 https、www 與非 www，這些形式在服務器跳轉和 canonical 没有统一之前，可能各自被当成獨立 URL 進入索引。這類「多出来」的頁面内容完全重复，是最没有保留價值的一批。
程序自動生成的頁面
站内搜尋结果頁、篩選與排序的參數组合、标簽交叉頁、日歷與日期归档、层級很深的列表分頁，都属于模板批量产出。它們的數量往往和内容量不成比例，一次改版就可能多出成百上千個。
被引用和分享产生的頁面
评论分頁、用戶個人主頁、分享短鏈等，也會随着互動量增長而增加。這類頁面數量不大，但常常和正文頁共用同一套模板和标题。
判断标准：能不能獨立满足一次搜尋需求
决定留還是收，看的不是數量，而是這個 URL 有没有獨立存在的理由。可以用下面几條對照：
- 有獨立正文、對應一個真實搜尋词的，留下。
- 只是把別處内容重新组合、没有額外信息的，考虑收敛。
- 參數组合穷举产生、頁面内容為空的，優先收敛。
- 同一内容存在多個 URL 形式的，只保留一個規范形式。
需要区分的是抓取和收錄：一個 URL 被蜘蛛抓到，不代表它會進索引；反過来，已经在索引里的頁面，也不一定會持續被抓。清理时要针對「要不要進索引」做决定，而不是單纯减少被抓次數。
處理顺序建议
- 先统一 URL 規范。确定唯一的訪問形式，其他形式做 301 指向它，規范頁自身用自指的 canonical，不要互相指来指去。
- 再区分「该抓但不该收錄」和「根本不该抓」。前者用 noindex，後者才用 robots.txt 屏蔽。
- 收敛程序生成頁。把篩選參數限制在有效值范围内，站内搜尋结果頁加 noindex，避免组合無限扩張。
- 清理站内入口。無價值 URL 不再出現在導航、相關推荐和 sitemap 里，否則它們會不断被重新發現。
- 留出观察時間。索引更新有自己的节奏，處理完不會立刻见效，用两三周的資料對比更可靠。
注意：robots.txt 屏蔽抓取和 noindex 是两種不同手段。如果先用 robots.txt 挡掉了抓取，蜘蛛讀不到頁面上的 noindex，頁面可能長期留在索引里退不出去。想让頁面登出索引，通常是先让它能被抓，再给出 noindex。
一個可以定期做的自查
與其只盯着收錄總數，不如每月導出一份已收錄 URL 列表，按路径前缀分组統計占比。某個前缀的占比持續上涨，就說明那類模板在不停生产頁面，先查它，比逐個頁面看效率高得多。數量變化本身不是结论，它只是一個提示你去看看發生了什么。