打開索引报告，有时會看到一批 URL 停在“已發現-目前未抓取”。這個狀態容易让人紧張，但它本身並不等于頁面有問题。它说的是：搜尋引擎已经通過某種渠道知道了這個 URL，但還没有把它放進抓取队列，或者排了但還没轮到。把它和“已抓取-目前未编入索引”混在一起看，排查方向容易跑偏。
两個狀態说的不是同一件事
已發現-目前未抓取：URL 進入了待抓取清單，抓取動作還没發生。頁面内容、质量、規范指向都没有被真正评估過。
已抓取-目前未编入索引：抓取已经完成，内容被讀到了，但决定暂时不放進索引。這时才轮到内容质量、重复度、規范指向這些問题。
所以看到“已發現-目前未抓取”，先不要急着改标题、改正文，重点應该放在“為什么没轮到抓”上。
常见的三種原因
1. URL 發現太容易，量又太大
站点地图、内鏈、分頁、篩選參數、歷史遗留地址，都會不断把新 URL 送進發現渠道。如果每天新增的 URL 數量遠超抓取能力，队列就會越积越長。尤其是參數组合、日歷归档、标簽頁這類頁面，很容易把抓取名額占满。
2. 抓取预算被低價值頁面消耗
抓取预算不是一個固定數字，它跟站点規模、更新频率、服務器响應速度都有關系。小站预算本来就有限，如果大量 URL 是薄内容或重复内容，真正需要抓的頁面反而排不上。這时表現就是：重要頁面卡在“已發現”，而一些無關紧要的頁面却被反复抓取。
3. 服務器响應拖慢了抓取节奏
抓取速度會被服務器响應影响。如果頁面打開慢、经常超时、返回 5xx，抓取频率會被主動降低，队列消化速度自然變慢。這類問题在日誌里通常能看到規律：同一時間段大量請求超时，或者响應時間明顯拉長。
排查顺序可以這样走
- 先看這批 URL 值不值得抓。是正文頁、商品頁，還是參數頁、归档頁、測試頁？如果本身就不需要收錄，用 noindex 或規范指向處理掉，比催抓更有效。
- 再看 URL 是怎么被發現的。站点地图里是否混進了大量低價值地址？内鏈是否把入口導向了不重要的頁面？發現渠道越杂，队列越容易被稀释。
- 检查服務器日誌。看抓取频率、响應碼分布、平均响應時間。如果 5xx 或超时占比高，先解决稳定性。
- 對比已抓取頁面的表現。如果抓取正常但索引不理想，問题可能不在队列，而在内容质量或重复度，這时要換一套排查思路。
- 確認没有誤屏蔽。robots.txt、防火墙、CDN 規則如果拦住了抓取，狀態也可能長時間不動。抓取屏蔽和“已發現”同时出現时，要先排除拦截。
哪些調整值得做
- 精简站点地图，只保留需要收錄的規范 URL。
- 减少參數组合和重复列表頁的可抓取入口。
- 把内鏈集中到核心頁面，避免入口分散。
- 提升服務器响應速度，减少超时和 5xx。
- 對已確認不需要收錄的 URL，用 noindex 或 robots.txt 明确處理。
- 给重要頁面稳定的入口，不要只靠站点地图發現。
“已發現-目前未抓取”更多是排队問题，不是頁面被否定。先判断 URL 是否值得抓，再决定是優化發現渠道還是等待队列消化。
最後提醒一点：這個狀態的數量會波動，抓取队列本身也有優先級調整。短期内小幅變化不必反复改動站点。如果连續几周大量核心頁面都停在這里，再按上面的顺序逐項核對，通常能找到更具体的原因。