很多站点排查收錄問题时，只盯着收錄了多少條，却忽略了另一個更基础的數字：站点一共有多少個可以被訪問到的 URL。当這個數字遠超真實頁面數量时，抓取资源會被消耗在重复、無效或低價值的地址上，真實頁面的發現和更新自然變慢。
先把两個數字摆在一起
真實頁面數，指的是站点里确實有獨立價值的頁面，比如商品詳情、文章正文、活動頁。URL 總量則来自訪問日誌、抽样統計、sitemap 條數和站点地图里的路由數量。两者差距越大，說明被浪費的地址越多。可以先各取一份样本：從日誌里按目錄归類，看哪些路径抓取量大、返回 200 的比例高，但内容几乎一模一样。
URL 膨胀的常见来源
- 參數组合：排序、篩選、每頁數量、来源标记這類參數互相叠加，很容易生成成千上萬個地址，内容却只有几種。
- 空结果頁：篩選到没有结果时仍然返回 200 頁面，這類地址數量往往比有效结果頁還多。
- 站内搜尋：用戶搜過的词會變成一條 URL，如果允许被抓取，增長几乎没有上限。
- 自動生成的归档：日歷頁、标簽頁、作者頁、地点頁，模板相同、内容稀薄。
- 分頁與滚動：翻頁地址一直翻到没有内容還在輸出。
- 會话與追踪參數：會话 ID、推廣參數被当成了不同頁面。
- 同一地址的多種寫法：协议、www、大小寫、末尾斜杠、預設端口的差异。
為什么這會拖慢收錄
搜尋引擎對每個站点投入的抓取量是有限的。当大量 URL 指向近似内容，抓取時間會花在重复訪問上，新頁面和更新頁面的抓取频次就被压缩。同时，站点整体的内容质量判断也可能被稀释：大量空结果頁、模板頁會让质量分布偏向低位。這里要分清一件事：頁面被频繁抓取，不等于會被收錄。抓取只解决拿到内容，收錄還取决于内容是否有獨立價值、地址是否符合規范。
處理顺序：先止损，再收敛
- 量化。用日誌按目錄統計抓取量、狀態碼分布和内容相似度，找出最浪費资源的几類路径，而不是全站一起改。
- 切断發現路径。先让這些地址不再被内鏈、sitemap、列表頁指向，這一步成本最低，效果通常也最直接。
- 统一規范寫法。确定唯一的协议、域名形態、大小寫和斜杠規則，其余寫法做 301 到規范地址。
- 再决定索引處理。確認為無效的用 404 或 410，需要保留但不希望被索引的用 noindex，纯粹不希望被抓取的才用 robots.txt。
- 保留该保留的。部分參數頁有真實搜尋需求，可以用 canonical 指向主版本，或固定參數顺序、限制可抓取的參數组合。
判断一個 URL 值不值得留
可以問三個問题：有没有用戶會直接搜到它、它的内容是否與主版本明顯不同、它是否能带来獨立價值。三個都是否，就属于可收敛的對象；有一個是，就值得保留，並把它做成規范版本。
收敛 URL 的目的不是让收錄數字變好看，而是让有限的抓取资源集中在真正需要被索引的頁面上。數量下降而有效頁面的抓取變多，是正常且值得的结果。
小结
收錄問题经常被当成内容問题，但它也可能只是地址問题。把 URL 總量控制在接近真實頁面數的水平，再谈頁面质量和内容更新，排查效率會高很多。這個過程不會立刻反映在收錄數量上，需要持續观察日誌和索引覆盖的變化，按目錄分批驗證。