“已發現，尚未抓取”到底指什么
在 Search Console 的頁面索引报告里，這個狀態经常出現。它的字面意思很直白：搜尋引擎知道這個 URL 存在，但還没安排抓取。注意，它不是收錄失敗，也不是抓取失敗，而是排在队列里等待。真正的問题在于，如果一個 URL 長期停在這個狀態，說明它在這场排队里一直没有被優先考虑。
換個角度看：被抓取只是第一步，抓取之後還要判断是否值得進索引。而“已發現，尚未抓取”连第一步都没走完。所以它反映的往往不是頁面本身的质量，而是發現方式和站点整体抓取分配的問题。
URL 是怎么被“發現”的
搜尋引擎發現 URL 的途径大致有三類：
- 站内連結：爬虫顺着已有頁面的 a 标簽爬到新 URL，這是最主要的通道。
- Sitemap 提交：相当于主動报备一份清單，但报备不等于立刻抓取。
- 外部連結與歷史记錄：別的站点提到過、或者以前訪問過，也可能被重新捡起来。
關键区別在于：通過站内連結發現的 URL，通常带着上下文——它挂在哪個頁面、周围是什么内容、锚文本寫了什么，搜尋引擎更容易判断它的價值；而只靠 Sitemap 报备、站内没有任何入口的 URL，信号就單薄得多。孤岛頁面長期停留在這個狀態，原因大多在這里。
四種常见的堆积来源
1. 站内入口很弱或没有入口
頁面只能從 Sitemap 找到，或者入口藏得很深，比如只在某個篩選结果里出現、只在分頁很靠後的位置被連結。這類 URL 被“發現”了，但缺少足够的理由插队。
2. URL 數量遠超站点的抓取容量
一個站如果動辄几十萬個可訪問 URL（參數组合、篩選頁、标簽頁、日歷归档），而每天的抓取量有限，队列自然越来越長。這时候堆积不是某個頁面有問题，而是整体供给過多。
3. URL 本身不稳定或重复
同一份内容對應多個地址：带參數、带會话 ID、大小寫不同、末尾斜杠有無。每一次變体都可能被当成一個新 URL 進入队列，既稀释了抓取額度，也让同一批内容反复排队。
4. 頁面長期没有變化
内容基本不更新、也没有新的内部連結指向，搜尋引擎會降低回訪频率。這類頁面不會消失，但會一直往後排。
處理顺序：先做减法，再做加法
遇到大量“已發現，尚未抓取”，先別急着催抓取，顺序一般是：
- 確認這些 URL 是否真的需要被收錄。篩選參數组合、排序頁、站内搜尋结果頁、重复的标簽頁，多數情况下並不需要進索引。用 robots.txt 屏蔽抓取、用 noindex 标记不收錄，两者用途不同，別混用。
- 统一 URL 形態。定好大小寫、末尾斜杠、參數處理規則，让同一份内容只對應一個主地址，其余做 301 或 canonical。
- 给重要頁面补上真實的站内入口。從首頁、频道頁、相關文章、面包屑里連結過去，比只在 Sitemap 里躺着有效得多。锚文本尽量寫清楚目标頁讲什么。
- 检查 Sitemap 是否“注水”。只放需要被收錄的規范地址，並及时移除已下线、已重定向、已 noindex 的 URL。清單越干净，參考價值越高。
- 观察趋势而非單日數字。這個狀態本身會波動，重点看一周、一個月内是不是持續下降。
几個容易踩的坑
- 把抓取和收錄当一件事。抓取量上去了，不代表收錄量跟着上去，两個指标要分開看。
- 用“頁面质量差”解释一切。很多堆积其實是入口和 URL 管理的問题，不是文案寫得不好。
- 指望 Sitemap 解决所有發現难题。它解决的是“告知”這一步，剩下的靠站内结构和抓取容量。
- 為了冲數量批量生成頁面。這會让队列更長，反而拖慢真正重要頁面的抓取。
把“已發現，尚未抓取”当成一個队列管理問题，而不是一個惩罚结果，處理起来會清晰很多：减少無效 URL、把入口接上、把清單理干净，剩下的交给時間。