在 Search Console 的頁面索引报告里,「已發現 — 尚未编入索引」這一條经常出現在新站或者更新比較频繁的站点上。它容易被讀成“被惩罚了”或者“内容不行”,但這個狀態首先描述的是一個流程位置:搜尋引擎已经知道這個 URL 存在,只是還没把它安排進抓取队列,真正的抓取動作還没有發生。
把它当成一個“待办”而不是一個“结论”,排查方向會清楚很多。
已發現和已抓取,卡住的是不同环节
這两個狀態经常被混在一起看,其實中間隔着一步。
- 已發現,尚未编入索引:URL 通過内鏈、sitemap 或其他方式被记錄進發現队列,但還没轮到抓取。
- 已抓取,尚未编入索引:内容已经取回来了,评估之後暂时没有放進索引,問题更偏向内容本身或重复判断。
- 重复網頁,Google 選擇了不同的規范網址:其實已经收錄,只是收的是另一個版本。
所以看报表时,別只盯着“已發現”這一個數字。把它和“已抓取”“重复網頁”放在一起看,才知道队列前端堵着,還是後端筛掉了。
URL 為什么會被排到後面
常见的原因大多不神秘,可以归成几類:
- 站点整体規模大,抓取速度有限,新地址自然要排队。
- 這個 URL 在站内位置很深,内鏈入口少,權重和優先級都低。
- sitemap 里混進了大量篩選頁、參數頁、低價值地址,稀释了對重要頁面的注意力。
- 服務器响應慢、超时多,抓取被迫降速。
- 頁面發布时内容還不完整,或者與其他頁面高度相似。
一份可以照着走的排查顺序
- 先確認這個 URL 有没有被真正引用:站内是否有指向它的連結,sitemap 里寫的是不是最终地址而不是跳轉前的地址。
- 用 URL 检查工具做一次實时抓取,看返回狀態碼和實际抓到的 HTML。如果正文是空的,問题在渲染而不是在排队。
- 翻服務器日誌,看搜尋引擎的抓取工具是否来過、频率如何、都抓了哪些地址。日誌能回答很多报表答不了的問题。
- 確認 robots.txt 没有意外挡住這個路径,顺便检查頁面上是否有互相矛盾的指令,比如同时存在 noindex 和 canonical 指向別處。
- 看整站的抓取統計。如果全站抓取量都很低,那多半不是這一頁的問题,而是整体抓取效率的問题。
- 最後再回到内容本身:這個頁面相比站内其他頁面,提供了什么獨有的信息。如果答案是“几乎没有”,那它停在哪個狀態都不奇怪。
可以顺手做的几件小事
- 把重要的新頁面挂到首頁或栏目頁的内鏈里,別只靠 sitemap。
- 發布时尽量一次把正文补齐,避免“先上线再补内容”的节奏。
- sitemap 只保留希望被抓取的地址,數量少一点、准一点,通常比堆满更有用。
- 减少無意义地址的产生,比如带各種追踪參數的連結、可以合並且不产生新内容的篩選组合。
提交 sitemap 的意思是“這里存在一個地址”,不是“請立刻收錄這一頁”。它负责發現,不负责收錄。
多久算正常,什么时候该換思路
從几天到几周都有可能,没有一個能套用到所有站点的时限。新頁面正好撞上站点抓取高峰,等的時間就會長一些。這段時間里频繁改動标题、反复重發 sitemap、每天提交一次 URL,通常不會让事情變快,反而會让信号顯得混乱。
真正需要換思路的情况是:頁面長期停在“已發現”,同时整站抓取量低、日誌里抓取次數稀少、索引里的頁面總數也不多。這时候要處理的是站点的抓取结构和内容质量,而不是盯着這一條记錄反复提交。
反過来说,如果站点整体抓取正常,只有個別頁面停在這個狀態,那多半只是排队顺序問题,把内鏈和内容补齐,等它轮到就好。