站長工具里顯示蜘蛛每天抓取几百上千次，可索引量長期停在原地，這種“抓得多、收得少”的情况很常见。抓取是搜尋引擎来訪問，收錄是它愿意把頁面放進索引並在搜尋里展現，两件事的判断标准完全不同。把抓取次數当成收錄進度，很容易在错誤的方向上折腾。
第一步：先把三個數字分開算
動手處理之前，先明确自己在看哪一個數，否則讨论會一直绕圈。
- 抓取量：来自服務器日誌，統計搜尋引擎 UA 請求的 URL 數、狀態碼分布和抓取频次。
- 收錄量：来自站長工具的索引报告或 site 指令的粗略估算，反映大致規模而非精确值。
- 有效收錄率：用已收錄數除以被抓取且返回 200 的 URL 數，比單看绝對量更有參考意义。
這三個數的口径本来就不一致：日誌里包含大量被放弃的 URL、參數頁和 304 請求，索引报告本身也有延迟。差個几倍不算異常，持續几個月不動才值得排查。
第二步：按目錄和模板分层，找出拖後腿的那一批
整体收錄率偏低，通常是少數几類頁面拉低的。把日誌按目錄前缀、URL 形態、模板類型分组，分別算抓取量和收錄量，問题集中在哪很快就清楚了。
常见的高抓取、低收錄類型
- 篩選、排序、分頁等參數组合生成的頁面，數量巨大但彼此高度相似。
- 正文很短、主要由列表和推荐位拼成的聚合頁或标簽頁。
- 同一内容的不同版本，多個 URL 指向近似相同的正文，缺少規范寫法。
- 詳情信息缺失的狀態頁，比如無库存、無评论、内容為空。
對照检查收錄受阻的信号
選几個代表性 URL，用 URL 检查工具看它给出的狀態：是“已抓取但未编入索引”，還是“已發現但未抓取”，或者被 canonical 指向了別的地址。不同狀態對應完全不同的處理動作，混在一起改只會互相干扰。
第三步：按顺序處理，不要一次全動
- 先收敛發現路径。把不该被大量生成的 URL 從内鏈、sitemap 和列表入口里撤掉，减少蜘蛛把額度花在低價值頁面上。
- 再處理重复與規范。近似重复的一组頁面里選主版本，其余用 canonical 或 301 统一指向，避免信号分散。
- 最後补内容质量。對确實有價值的頁面补充正文、结构化信息和内部連結，让它具备進入索引候選的资格。
顺序反過来的话，先给一堆低價值頁面补内容，往往只是把抓取額度消耗得更多，收錄率不會有明顯改善。
索引是搜尋引擎對頁面價值的判断结果，任何操作都只能改善條件，不能保證某個頁面一定被收錄，也不能保證收錄時間。
第四步：设定观察口径和周期
改動之後要能驗證，最好提前定好口径：同一批 URL、同一段時間、同一統計来源。观察周期给到两到四周比較合理，期間不要反复改規則，否則資料没有可比性。同时看抓取狀態碼分布，200 的比例上升、5xx 减少，說明服務器侧没有拖後腿。
几個容易踩的坑
- 把 sitemap 里提交的 URL 數当成收錄量，誤以為趋势在變好。
- 只看總收錄數，不看被抓取返回 200 的分母，收錄率其實在下降也看不出来。
- 對整站统一加 noindex 或统一放開，忽略不同目錄的價值差异。
- 频繁改動 canonical 和内部連結结构，让搜尋引擎反复重新评估同一批頁面。
抓取與收錄之間隔着一层價值判断。能做的就是把發現路径理清、把重复收敛掉、把有價值的頁面做扎實，然後给它時間。