為什么逐頁盯收錄很費劲
很多站長查收錄的方式是：挑几個頁面搜一下，發現没收錄，就去改标题、加内鏈、再提交一次。這样做的問题是看不到規律——一個頁面没收，可能是内容太薄，也可能是模板重复、内鏈走不到、參數太多。單頁样本太少，改来改去往往只是在撞运气。
更有效的做法是把整站 URL 分成几组，按组看資料。同样是“收錄率低”，如果只有一层目錄低，那多半是那一批内容的問题；如果全站都低，才需要往站点整体质量和抓取狀態上想。
先确定分组口径
分组前先统一 URL 口径，否則統計出来的數字會失真。要点有三條：
- 统一协议、域名和结尾形式：把带 www 與不带 www、http 與 https、带结尾斜杠與不带斜杠的寫法收敛成一種，再統計。
- 去掉跟踪參數：utm、来源标记、排序和篩選參數尽量剥掉，只保留决定内容的參數。
- 用同一個来源清單：以站内連結、sitemap 或資料库里實际存在的頁面為准，不要用抓取工具随手跑出来的结果当分母。
常用的三種分组方式
- 按目錄分组：例如商品、文章、标簽、专题、帮助中心各算一组。适合看哪一類业務頁面收錄差。
- 按模板分组：同一個模板生成的所有頁面算一组，比如列表頁、詳情頁、聚合頁。同一模板的問题往往高度一致。
- 按来源分组：從首頁几跳可達的、只在 sitemap 里出現的、只靠外鏈進入的，分開統計，可以看出内鏈深浅的影响。
每组都對齐四個數字
- 發出的 URL 數量：這一组里實际存在、允许被抓取的地址有多少。
- 已發現：蜘蛛知道這些地址存在，但還没訪問。
- 已抓取：被訪問過的數量，可從服務器日誌或抓取統計里核對。
- 已收錄：能被站内检索或索引狀態查询確認進入索引的數量。
四個數字分開看，會比一個笼统的收錄率有用得多。抓取和收錄本来就是两件事，先抓不到還是抓了不收，處理方向完全不同。
几種常见组合怎么讀
- 已發現多、已抓取少：多半是抓取预算被別的地址占掉了，或者這一组地址在内鏈里埋得太深，蜘蛛排队排不到。可以先從内鏈和低價值 URL 的收敛入手。
- 已抓取多、已收錄少：說明蜘蛛来過，但索引阶段没選它。常见原因是内容重复度高、正文信息量不足，或同一主题已经有更完整的頁面。
- 整组几乎不收錄，其它组正常：優先怀疑這一组的模板本身，比如列表頁只輸出标题、詳情頁只有參數不同、頁面主要靠前端脚本渲染。
- 每组都低：不急着改單頁，先確認 robots、站点狀態碼、服務器响應是否正常，再看整站的内容结构。
按结果决定先修哪一段
只有某一组偏低
把精力放在這一组。检查正文是否實质性、同一模板产出的頁面之間差异有多大、有没有必要让每個頁面都獨立存在。對确實没有獨立價值的地址，保留入口但阻止索引，比硬撑着让它收錄更省事。
各组都一般
這时更可能是结构和抓取层面的問题：重要頁面离首頁太遠、導航把大量權重導向無價值列表頁、參數地址重复消耗抓取。先做 URL 收敛和内鏈整理，再回头观察數字變化。
數字長期不動
先核對統計口径是否變了，比如改過域名、加過 CDN、日誌格式換了。排除口径問题後，再看這段時間站内是否有大規模改版或模板調整。數字不動有时是統計错觉，不一定是收錄退步。
這些數字只能說明趋势，不能当成绩單。索引里保留哪些頁面由搜尋方判断，我們能做的是把结构、内容和抓取條件整理清楚，而不是想办法凑出一個好看的收錄率。
統計时容易踩的坑
- 時間窗口不一致：發出的 URL 是今天的，收錄資料是上周的，比值自然失真。建议同一天取數，並标注時間。
- 把抓取当收錄：日誌里蜘蛛来過几次，只能說明抓了；是否進索引要單獨確認。
- 样本太少就下结论：一组只有十几個 URL 时，個位數差异不說明問题。
- 只看總量不看分布：總量涨了但增量都来自标簽頁或篩選頁，反而是负担。
把 URL 分组、對齐四個數字、按组判断，這件事本身不复杂，难的是每次都按同一口径做，並给它留出足够長的观察周期。坚持一段時間，你會更清楚自己的站点在哪個环节卡住，而不是每次都在猜。