在頁面索引报告里，“已發現，尚未抓取”和“已抓取，尚未编入索引”经常被放在一起讨论，但它們卡住的位置並不相同。前者說明搜尋引擎已经知道這個 URL 存在，但還没有去取内容；後者說明内容已经取回来了，正在决定要不要放進索引。把這两個狀態混為一谈，很容易在错誤的方向上花時間。
這個狀態是怎么出現的
URL 被發現的途径通常有几條：站点地图提交、站内連結指向、外部連結，以及以往抓取過程中顺带發現的地址。被發現之後，URL 會進入待抓取队列等待調度。队列顺序並不是先来先到，而是取决于站点可用的抓取額度、頁面自身的優先級判断，以及服務器响應是否顺畅。
所以看到“已發現，尚未抓取”，第一反應不應该是“頁面质量太差”。质量信号主要在索引阶段起作用，抓取阶段更關心的是能不能抓、值不值得優先抓。
常见原因與對應检查
抓取額度被低價值地址占满
当站内存在大量不值得收錄的地址时，爬虫的請求會大量消耗在這些路径上，重要頁面只能排在後面。常见的消耗来源包括：
- 由篩選、排序、會话參數组合出的重复地址
- 翻頁层級過深或近似無限的列表
- 可被抓取的站内搜尋结果頁
- 内容稀薄的标簽頁、归档頁、作者頁
检查方式是看抓取統計中的請求分布，如果請求集中在這類地址上，而重要内容頁很少被抓，就要先收敛入口。
服務器响應慢或抓取时超时
抓取是有時間成本的。响應時間偏高的頁面，被反复抓取的概率會下降。可以關注首字节時間、整頁加载耗时，以及是否存在爬虫請求被限流、被防火墙拦截的情况。
站内連結深度不足
站点地图能帮助發現地址，但替代不了連結。一個頁面如果只出現在站点地图里，没有任何站内連結指向它，被抓取的優先級通常偏低。可以從首頁出發數一數需要几跳才能到達，看看栏目頁、上一級列表頁、相關内容区是否指向它。
站点层面的長期表現
新站、長期不更新、频繁返回 5xx 的站点，在抓取調度上會更保守。這不是某個頁面能單獨解决的問题，需要從站点整体持續改善。
服務端层面的限制
- robots.txt 中是否誤封了需要抓取的路径
- 是否按 UA 或 IP 做了訪問限制
- CDN 或安全策略是否把爬虫挡在外面
要注意，robots.txt 中的 Disallow 只影响抓取，不影响地址被發現，因此确實會出現“已發現但抓不到”的情况。
可以動手做的几件事
- 對個別重要頁面使用 URL 检查工具發起一次抓取請求，確認能否正常返回。這只适合少量地址，不要当成批量手段。
- 检查站点地图：地址是否返回正常、是否混入了重定向、404 或 noindex 的地址，更新時間是否真實。
- 查看服務器日誌：爬虫是否来過、返回了什么狀態碼、主要抓了哪些路径。日誌往往比报告更接近事實。
- 優化站内連結：把重要頁面放進導航、栏目或相關内容区，缩短点击深度。
- 收敛低價值地址：该设 noindex 的设 noindex，该在 robots 中屏蔽的屏蔽，减少無效消耗。
- 改善服務器：压缩响應時間，保證稳定返回，避免超时和 5xx。
手動抓取只是把 URL 放進队列，解决的是“能不能抓”。它不保證抓取一定發生，也不保證最终的收錄结果。
什么时候该換思路
如果几個重要頁面長期停在“已發現，尚未抓取”，同时站点整体抓取量也很低，說明問题多半在站点层面，而不是單個頁面。反過来，如果抓取量正常，只是個別頁面排队靠後，通常补上站内連結、给一点時間就能改善。真正需要留意的是長期不動、又没有内鏈和外鏈支撑的孤立頁面。
把它和“已抓取，尚未编入索引”分開看：前者查能不能抓、值不值得抓，後者查内容值不值得進索引。两個狀態對應两套動作，混在一起做只會来回折腾。