在 Search Console 的索引覆盖报告里,"已發現,目前未编入索引"经常被当成故障提示。它其實只是一個狀態描述:Google 已经知道這個 URL 存在,但還没来抓取,或者抓取還没排上日程。把它直接当成"内容有問题"的證據,很容易改错方向。
已發現和已抓取不是一回事
收錄鏈路大致是:URL 被發現,進入抓取队列,完成抓取,判断是否索引,最後進入索引。每個环节都可能停住。
- 已發現,目前未编入索引:URL 進了候選池,但抓取還没發生。頁面上寫了什么,這时候 Google 還不知道。
- 已抓取,目前未编入索引:頁面已经抓回来了,内容也讀了,但索引判断没有通過,或者認為不值得單獨收錄。
区別在于,前者要解决的是"什么时候来抓",後者要解决的是"抓了之後為什么不用"。混在一起看,就會做一些對目前狀態没有帮助的改動。
URL 通常是從哪里被發現的
- 站内連結,尤其是導航、列表頁和正文里的連結
- XML 網站地图
- 外部連結
- 重定向鏈和跳轉
- 手動提交的單個 URL
發現不等于排队靠前。sitemap 只是把 URL 报上去,並不等于立刻安排抓取;一個從首頁两步就能点到的 URL,通常比只出現在 sitemap 里的 URL 更早被處理。
長期停在"已發現"的常见原因
抓取配額被更重要的頁面占满
站点每天能被抓取的次數是有限的。当大量頁面抢同一份配額时,優先級低的 URL 就會被一直往後排。新站、大站的低层級頁面,以及一次性批量生成的頁面最容易遇到這種情况。
URL 在站内没有像样的入口
如果某個 URL 只在 sitemap 里出現,站内没有任何連結指向它,被發現之後也缺少被優先抓取的理由。孤立 URL 往往要等很久,甚至一直等不到。
一批 URL 在短時間内集中出現
分頁、篩選、标簽、參數组合一起放開,會让待抓取數量突然放大。候選池變長,單個 URL 排队的時間自然變長,表現就是整批頁面都停在"已發現"。
頁面本身没有稳定内容
内容為空、只有模板、和已有頁面高度相似,都會让抓取優先級降低。這類頁面即使被抓,也常常直接落到"已抓取,尚未编入索引"。
服務器响應拖慢了整体节奏
响應慢或频繁超时时,抓取器會主動降低訪問频率,候選队列消耗得更慢,看起来就是狀態迟迟不動。
可以按這個顺序排查
- 確認该 URL 返回 200,内容能正常看到,不需要登入或交互才出現。
- 检查頁面附近有没有正常的内鏈入口,至少能從列表頁或相關内容点進去。
- 看站点整体被抓取的總量是否够用,日誌里的抓取請求集中在哪些目錄。
- 核對是否有一批 URL 在同一時間被批量放出,必要时先收缩范围。
- 比較同批 URL 里有没有已经進入索引的,找出两者差异。
能做的調整
- 把重要頁面放進導航或列表頁,缩短点击深度
- 减少低價值參數组合 URL,別让候選池被稀释
- 保持 sitemap 只放需要收錄的規范 URL
- 先處理服務器响應和错誤率,再谈收錄速度
- 给頁面稳定的正文内容,避免長期空轉
狀態是會變的。同一批 URL 里有的几周後進入索引,有的停留更久,這本身不一定是操作失誤。判断問题要看趋势和比例,不要只盯單個 URL 当天的狀態。
總结下来,"已發現"阶段要處理的是抓取机會,不是内容质量。先把 URL 的入口、數量和服務器表現理顺,再去看内容层面的問题,顺序會清楚很多。