“已發現，尚未编入索引”到底卡在哪一步
在索引覆盖率類报表里，這個狀態常被誤解成“蜘蛛没来”。實际上它只說明搜尋引擎已经知道這個 URL 存在，但還没把它抓回来並建立索引。中間至少隔着三段路：發現、抓取、入库。按這三段依次排除，比反复提交站点地图有用得多。
第一段：URL 是怎么被發現的
發現不等于抓取。發現来源不同，後續被安排抓取的優先級也不同。先確認這批 URL 主要来自哪里：
- 站点地图：适合批量暴露 URL，但提交成功只代表被讀取，不代表會被優先抓取。
- 站内連結：從已被收錄頁面出發的普通連結，通常是發現效率較高的一種。
- 外鏈與跳轉：站外連結能帮助發現，但落地頁本身的质量仍要單獨看。
- 主動提交接口：适合少量新頁面，數量一大作用就會被稀释。
如果一批 URL 只出現在站点地图里，站内没有任何可抓取入口指向它們，長期停在這個狀態並不意外。這时该做的是补内鏈，而不是反复重提。
第二段：蜘蛛有没有真的来過
日誌和抓取統計是相對可靠的依據，別靠猜。核對时看三件事：
- 請求有没有發出：日誌里是否出現過對應 URL 的记錄，包括被拒绝的记錄。
- 服務端回了什么：正常返回、重定向、狀態碼異常，會走向完全不同的结果。
- 返回的是不是正文：返回 200 但内容是空壳頁或错誤提示頁，同样進不了索引。
還有一種情况是抓取确實發生過，但發生在很久以前。頁面在那之後改過结构、換過内容，索引里却始终没有新版本，這属于刷新問题，與“從未被抓取”不是同一類。
第三段：抓到了為什么還没入库
被抓取之後仍可能被放弃入库，原因通常落在两邊：
内容层面的常见原因
- 正文過短，或主要由模板、推荐位、评论构成，缺少獨立信息。
- 與站内其他頁面高度相似，搜尋引擎選了另一個版本作為主版本。
- 頁面主题模糊，同一 URL 在多個不相關主题之間摇摆。
技術层面的常见原因
- robots 類指令、canonical 指向了別的 URL，目前頁被主動让出。
- 頁面依赖脚本渲染，而首屏 HTML 里几乎没有可用文本。
- 頁面在短時間内频繁改版、改标题，信号不稳定。
別把“未收錄”直接当成惩罚。多數情况下，它只是搜尋引擎在有限资源下做出的取舍。
一份可执行的核查顺序
- 按模板分组，取一批同狀態的 URL，先看它們有什么共同点。
- 確認發現来源，检查站内是否存在可抓取的入口連結。
- 查日誌，分清“没来過”“来過但失敗”“来過且成功”三種情况。
- 對失敗請求，回到狀態碼、超时與重定向鏈路上排查。
- 對成功請求，检查渲染後的正文、canonical 與 robots 指令。
- 判断内容是否與站内其他頁面重复，是否需要合並或补充。
- 調整内鏈與站点地图结构後，留出观察窗口再复查，不要当天就下结论。
容易走偏的两種做法
一是把所有未收錄頁面集中提交一遍，看似動作很大，但如果頁面本身缺入口或缺内容，结果不會變。二是把這個狀態当成長期结论，實际上它會随站点整体质量和抓取安排變化，值得隔一段時間复查同一批样本。