在索引报告里看到“已發現 – 目前未收錄”,很多人第一反應是頁面被惩罚了。其實這個狀態只說明搜尋引擎已经知道這個 URL 存在,通常来自内鏈、sitemap 或外部連結,但還没有抓取,或者抓取後没有把它選入索引。它更像一個排队提示,而不是最终结论。
要處理它,第一步不是提交索引,也不是改模板,而是先分清:到底没抓,還是抓了没選。這两條路的核對顺序不同。
先用日誌区分两種子情况
索引报告的狀態比較粗,服務器日誌能提供更直接的线索。找到目标 URL,看最近一段時間有没有爬虫訪問记錄:
- 日誌里没有訪問记錄:URL 已發現,但還没進入抓取队列,問题多半在入口和抓取優先級。
- 日誌里有訪問,返回 200:頁面已被抓取,但索引狀態没變化,重点轉向内容质量和重复判断。
- 日誌里有訪問,返回 3xx、4xx、5xx:抓取失敗或跳轉異常,先保證稳定返回 200 的最终頁。
如果站点日誌不方便查,也可以看索引报告里的“上次抓取時間”。没有抓取時間,或者時間很早且之後没更新,基本能判断問题在前半段。
没抓取时,先核對入口和抓取通道
已發現未抓取,常见原因不是頁面“太差”,而是抓取通道太挤或入口太弱。可以按下面顺序检查:
- 内鏈入口:目标頁是否從重要栏目、相關詳情頁获得普通連結?如果只靠 sitemap、頁脚全站連結或站外少量連結,發現和抓取的優先級通常偏低。
- 层級深度:從首頁到目标頁需要点击几次?层級過深會让抓取路径變長,尤其当中間层還有大量列表頁时。
- URL 形態:是否带排序、篩選、會话、追踪參數?同一内容出現多個地址,會分散抓取額度,也會让索引選擇變难。
- 服務器响應:抓取时是否稳定?偶發 5xx、超时或長時間响應會降低抓取频次。
- sitemap 與内鏈是否一致:sitemap 里有 URL,但站内没有任何入口,搜尋引擎仍可能把它当作低優先級内容。
這里不一定要一次全改。可以先补一两個高质量内鏈,观察日誌里是否出現抓取,再决定下一步。
已抓取但未收錄,重点回到頁面本身
如果日誌顯示抓取正常、返回 200,但索引狀態長期停在“已發現”,通常不是抓取問题,而是索引選擇問题。可以從這些角度核對:
- 正文主体是否足够:頁面核心内容是否被模板、導航、推荐位和广告淹没?用戶和搜尋引擎都需要能快速找到主体。
- 與站内其他頁面的差异:标题、描述、正文是否和其他頁面高度相似?批量生成的頁面尤其容易在這里卡住。
- 規范 URL 是否清晰:canonical 是否指向目前頁,是否與分頁、參數頁、打印頁冲突?變体越多,選中主版本的成本越高。
- 頁面類型是否有獨立價值:空白篩選頁、無结果頁、纯标簽聚合頁、重复的商品變体,未必需要收錄。先判断它對用戶有没有獨立用途。
- 外部引用情况:有没有其他站点連結到该頁?這不是收錄的决定因素,但能帮助判断頁面是否被需要。
處理動作不要一次全上
很多人看到“已發現”就同时提交索引、堆外鏈、改标题、調模板,最後不知道哪一步起了作用。更稳妥的做法是按周观察,每次只改一類:
- 先补内鏈入口,检查目标頁是否從相關頁面获得連結。
- 再核對服務器日誌,確認抓取是否正常、返回碼是否稳定。
- 然後處理重复與規范化,合並或收敛低價值變体。
- 最後才考虑提交索引或更新 sitemap,並繼續观察日誌抓取频次和索引狀態。
收錄狀態是结果,不是開關。把“已發現”当成一條排查线索,顺着抓取和索引两條路走,比反复提交更有效。
如果頁面本身是篩選頁、空结果頁或重复參數頁,不收錄可能是正常结果。先判断它是否值得被搜尋用戶看到,再决定是優化入口、合並内容,還是保持現状。