在抓取統計和索引报告里，“已發現，尚未编入索引”是一個常被誤讀的狀態。它字面上只是说：系統已经知道這個 URL 存在，但還没有把它抓下来，或者抓取動作被排在了很後面。它本身不是惩罚标记，也不代表頁面被判了死刑，更多时候反映的是队列顺序和優先級問题。
不過，這個狀態和“已抓取，尚未编入索引”是两件事。前者通常卡在抓取之前，後者是抓取已经完成、但内容判断没有通過。處理思路不同，先看清自己面對的是哪一種，後面才不會白忙。
第一步：確認 URL 没有被挡在门外
“被發現”和“可被抓取”是两條獨立的线路。一個 URL 可能通過外鏈或站点地图被记錄，但抓取入口被規則挡住，于是長期停在待抓取狀態。
- robots.txt：Disallow 會阻止抓取，但不阻止 URL 被發現，所以很容易出現“有记錄、没抓取”的组合。
- 返回狀態：確認是 200，而不是多跳重定向、403、503 或間歇性超时。
- noindex 信号：检查 meta robots 和 X-Robots-Tag，尤其注意是否有舊配置残留在响應头里。
- 訪問门槛：登入、驗證碼、地区限制、必须依赖 Cookie 才能出内容的頁面，抓取端往往拿不到正文。
第二步：看發現路径是否有效
站点地图是最常见的發現来源，但它的作用被高估了。如果 sitemap 里混入大量篩選參數頁、重复 URL、低價值分頁，抓取队列會被這些地址稀释，真正想收錄的頁面反而排在後面。
站内連結同样關键。只靠 sitemap 暴露、站内没有任何入口的頁面，優先級通常低于從首頁几跳之内可達的頁面。可以检查這些地址是否真的出現在導航、列表或相關推荐里，連結是否可抓取、有没有被 nofollow 或 JS 事件代替。
第三步：判断抓取预算被什么占用
抓取预算不是一個固定額度，它受站点規模、更新频率、响應速度、頁面质量共同影响。新站或權重有限的站点，队列推進慢是常见現象，未必是配置出错。
- 服務器响應慢，或大量請求返回 5xx，會直接拖慢整体抓取节奏。
- 成千上萬個低價值 URL 長期存在，會挤占本應留给重要頁面的份額。
- 站点長期不更新，抓取端缺少回訪理由，队列推進會變慢。
第四步：確認頁面是否值得被索引
抓取和索引是两個决策。即使轮到了抓取，内容單薄、與站内其他頁面高度相似、缺少獨立價值的頁面，也可能抓完後再被搁置。這时要處理的是内容本身，而不是繼續催抓取。
反复提交站点地图、频繁使用抓取請求，並不會改變索引决策。决定队列顺序的是頁面價值和站点整体表現，不是提交次數。
建议的處理顺序
- 抽样几個卡住的 URL，核對狀態碼、robots.txt、noindex 信号和訪問门槛。
- 確認站内是否真的有可抓取入口，別只依赖 sitemap。
- 收敛站点地图，只保留規范 URL 和确實希望被收錄的頁面。
- 合並高度重复的頁面，给内容單薄的頁面补充信息或做整合。
- 對少數關键 URL 使用抓取請求，然後到日誌里確認是否真的来過。
- 给队列留出几周時間再回看，不要每天改動規則。
大多數“已發現，尚未编入索引”會随着站点整体状况改善而自行推進。真正需要動手的，通常是被規則挡住、發現路径無效、站点地图泛滥這三類問题；把這几項理清，剩下的交给時間。