在 Search Console 的頁面报告里，“已發現——尚未编入索引”是一個容易被誤讀的狀態。它不像“已排除”那样明确拒收，也不像“已编入索引”那样完成閉环：爬虫已经知道這個 URL 存在，但還没有真的去抓取它。理解這個中間態，能帮你判断問题出在“發現”還是出在“抓取排队”。
發現和抓取是两件分開的事
爬虫的工作流大致可以拆成三步：發現 URL、抓取頁面、判断是否编入索引。“已發現——尚未编入索引”卡在第一步和第二步之間。它說明 URL 已经通過某種途径（内鏈、sitemap、外鏈、重定向等）被记錄進待抓取队列，但爬虫還没有對它發起請求。
這里要区分另一個容易混淆的狀態：“已抓取——尚未编入索引”。後者意味着頁面已经被下载，只是内容质量或重复問题让搜尋引擎暂时没有收錄。前者连下载都没發生，所以此时讨论“内容好不好”為时過早。
常见的几種成因
1. 抓取队列里积压太多
站点的抓取配額是有限的。当站内存在大量低價值 URL（參數頁、空结果頁、重复的列表分頁）时，它們會挤占配額，让真正重要的頁面排在後面。新 URL 尤其容易受影响。
2. 入口太少或太深
如果某個 URL 只出現在 sitemap 里，站内几乎没有可点击的入口，爬虫對它的重视程度會低很多。sitemap 提供的是“存在性”，内鏈提供的是“重要性”，两者不是一回事。
3. 服務器响應不稳定
抓取過程中如果频繁遇到超时、5xx 或连接被拒，爬虫會主動降低抓取频率。這種情况下积压會越滚越大，恢复起来也需要時間。
4. URL 數量與站点体量不匹配
程序化生成的頁面如果數量級遠超站点本身的更新能力和外鏈規模，绝大多數 URL 長期停留在“已發現”並不意外。這不是惩罚，而是排序後的自然结果。
建议的排查顺序
- 先看样本規模：是個別 URL，還是成百上千條。少量属于正常波動，量級大才需要處理。
- 检查入口：在站内搜一下這些 URL，看有没有正常的内鏈指向，連結是否可点、是否被 JS 隐藏。
- 核對 robots 與 noindex：被 robots.txt 屏蔽的 URL 仍可能出現在“已發現”里，因為它先被记錄、抓取时才被拦下。
- 看服務器日誌：確認爬虫是否来過、返回了什么狀態碼、平均响應時間是多少。
- 评估這些 URL 本身值不值得抓：有些頁面其實不该出現在待抓取队列里。
可以做的事
- 把重要頁面的内鏈入口补足，让它們從首頁或栏目頁在少量点击内可達。
- 收敛低價值 URL：合並重复的篩選參數頁，给不必要收錄的頁面加 noindex 或直接調整结构。
- 保持站点地图只放真實、可訪問、希望被收錄的 URL，而不是把全站都塞進去。
- 提升响應速度，减少 5xx，让爬虫愿意提高抓取频次。
- 耐心等待。抓取队列的消化需要時間，反复重新提交通常不會顯著加快。
“已發現——尚未编入索引”反映的是排产問题，不是质量問题。在没有抓取之前，任何關于内容好坏的判断都缺少依據。
什么时候可以暂时不管
如果這類 URL 属于以下情况，通常不必专门處理：數量少且波動、頁面本身是低優先級的舊内容、站点近期刚上线或刚做過大規模结构調整。真正需要介入的信号是：重要頁面長期停留在這個狀態，同时抓取日誌顯示爬虫把時間花在了大量不重要的 URL 上。這时把抓取预算從低價值頁面收回来，往往比想办法“催收錄”更有效。