在索引报告里，“已發現，尚未抓取”是一個容易被誤讀的狀態。它既不算失敗，也不等于被拒绝，只表示搜尋引擎已经知道了這個 URL，但還没来取内容。分清這一点，才能判断该等一等，還是该動结构。
三個狀態各管什么
把鏈路拆成三步會清楚很多：
- 已發現：URL 進入了待抓取队列，来源可能是 sitemap、站内連結、外部連結或上一次抓取时的跳轉。
- 已抓取：蜘蛛确實取回了内容，但還没决定是否放進索引。
- 已编入索引：内容被接受，可以出現在结果里。
卡在第一步，說明問题出在“要不要来取”，而不是“内容够不够好”。這两件事的處理方式完全不同，用错力气往往白忙。
常见的排队原因
站点层面的因素
- 抓取预算被大量低價值 URL 占用：篩選參數、站内搜尋结果頁、無限翻頁、重复列表。
- 服務器响應偏慢或错誤率偏高，蜘蛛主動降速，队列消化速度随之變慢。
- 新站或新目錄缺少积累，整体抓取频次本来就不高。
頁面层面的因素
- 层級太深，或者只存在于 sitemap 里，站内没有任何真實連結指向它。
- 内容與已有頁面高度重合，缺少獨立價值，優先級自然靠後。
- URL 形態不稳定，同一内容存在多個带參數的版本，信号被分散。
- 主体内容依赖 JS 才能拿到，蜘蛛第一次取回的 HTML 里几乎是空的。
按這個顺序排查
- 先確認 URL 可訪問：返回 200，robots 没有挡住，不依赖登入狀態。
- 再確認站内有没有連結指向它。導航、正文内鏈、列表頁任意一種都算，孤岛頁最容易長期停在队列里。
- 看服務器表現：响應時間、超时比例、5xx 频率。抓取統計里的平均响應時間比翻單次日誌更有參考價值。
- 判断是個別頁面還是整批頁面。抽样十几個同類 URL，如果都停在同一步，問题多半在模板或目錄层面。
- 最後回到價值判断：這批頁面對用戶是否有獨立意义，還是同一套模板換了個參數。
可以做的與不必做的
能推進狀態的動作，通常是结构性的：
- 给重要頁面补站内連結，缩短点击深度；
- 合並或下掉重复、單薄的頁面，减少無意义 URL 的产生；
- 把 sitemap 控制在真實有價值的 URL 范围内，別把它当成萬能提交口；
- 该挡的參數、篩選、内部搜尋頁，用規則提前處理掉。
帮助不大的動作：反复單獨提交、為了推動抓取去堆外部連結、每天刷新报告看有没有變化。队列本身有自己的节奏，频繁操作只會让判断失真。
“已發現”只說明蜘蛛知道這個 URL 存在，抓取顺序由站点整体表現和頁面價值信号共同决定，並不是提交一次或等几天就會改變。
怎么盯才不至于焦虑
建议按周看趋势：索引报告里各類狀態的數量、抓取統計里的請求數與响應時間、日誌里蜘蛛對目标目錄的訪問频次。三個資料源交叉看，才能分清是整站在被降速，還是某批 URL 确實不值得先抓。
如果一批頁面在這個狀態停留數周，而站内連結和响應時間都正常，那多半要回到内容层面：它們是否提供了別處没有的信息，是否只是同一模板的重复排列。這個問题不解决，狀態大概率會一直停在那里。