在索引报告里，“已發現，但尚未编入索引”是一個很容易引起誤判的狀態。看到“已發現”三個字，很多人會理解成“马上要收錄了，等几天就行”。實际上它只說明一件事：蜘蛛已经知道這個 URL 存在。知道在哪里，和去不去抓、抓了收不收，是後面两步的事。
先把两種狀態分開看
已發現，尚未编入索引
URL 被蜘蛛登记在待抓取队列里，但還没有真正請求頁面。常见来源是 sitemap、站内連結、外鏈，或者歷史抓取记錄。這類頁面的問题通常不在内容质量，而在抓取調度：站点的抓取配額被分给了別的頁面，或者這個 URL 的優先級排得太靠後。
已抓取，尚未编入索引
蜘蛛已经訪問過頁面，拿到了内容，但判断它不值得進索引。這时候再等下去意义不大，問题多半在頁面本身：内容太薄、和站内其他頁面高度重复、正文依赖脚本渲染但渲染不出来，或者頁面自己通過 noindex、canonical 把自己排除掉了。
分不清這两類，處理方向就會完全跑偏。前者要調抓取優先級，後者要動頁面。
“已發現”之後為什么迟迟不抓
- 抓取配額有限。站点能承受的抓取量不是無限的，蜘蛛會按頁面重要性分配。低優先級頁面排队很久是正常的。
- 一次性上线太多新 URL。比如批量生成几萬個标簽頁或篩選頁，队列瞬間被撑满，真正想收錄的頁面也被挤在後面。
- 内鏈太浅或根本没有内鏈。頁面只出現在 sitemap 里，站内没有任何入口，蜘蛛自然把它当次要目标。
- 服務器响應慢或错誤率高。大量超时、5xx 會让蜘蛛降低抓取频率，整個站点的抓取节奏都會被拖慢。
“抓了却不编入”通常卡在哪
- 正文只有几句话，或者大段是模板、導航、推荐位，實际信息量很低。
- 與站内其他頁面内容高度重合，比如同一批商品的不同排序结果。
- 主要依靠前端脚本渲染，蜘蛛执行脚本後拿到的仍是空壳。
- 頁面上的 canonical 指向了另一個 URL，等于主動声明“別收我”。
建议的排查顺序
- 先確認狀態属于哪一類，不要混在一起處理。
- 抽几個典型 URL，看蜘蛛實际抓到的内容和你看到的頁面是否一致。
- 检查這些 URL 有没有站内入口，入口在几层之内。
- 盘点近期新增的 URL 類型，把明顯没有检索價值的形態先控制住。
- 看服務器日誌，確認蜘蛛實际抓的是哪些頁面，而不是只看报告數字。
- 做完结构調整後，给它一段時間观察，不要每天改動頁面期待立刻變化。
把“被發現”当成“會被收錄”，是收錄類問题里最常见的誤判。發現只是排队，收錄是一次判断。
几個常见做法上的偏差
频繁提交 sitemap、反复修改标题、每天手動請求抓取，這些動作本身不會提升頁面價值。如果頁面所處的层級、内容质量和站内结构没有變化，狀態也不會變化。反過来，把低價值 URL 的产出减下来，把内鏈集中到真正希望被收錄的頁面上，往往比反复催促更有效。
收錄不是開關，而是站点资源分配的结果。蜘蛛愿意抓、抓了之後愿意留，取决于頁面值不值得。與其盯着狀態數字，不如先確認每一類 URL 的存在理由是否站得住。