在搜尋抓取相關报表里，“已發現但未抓取”是一個常见的中間狀態。它表示蜘蛛已经通過某種路径知道了這個 URL，但還没有真正請求它。這個狀態本身不等于問题，但如果大量重要頁面長期停在這里，运营侧就需要從入口和抓取路径上找原因。
“已發現未抓取”通常卡在哪
URL 被發現之後，會進入一個待抓取队列。蜘蛛會结合站点整体情况决定先抓谁。常见原因包括：
- 抓取预算有限：站点 URL 總量大，蜘蛛每次来訪只能處理一部分。
- 服務器响應慢或不稳定：超时、5xx、频繁跳轉都會让抓取节奏變慢。
- 新 URL 集中爆發：批量生成頁面或改版後，队列一下子被塞满。
- 入口太深或内鏈太弱：重要頁面只靠 Sitemap 被發現，缺少站内連結支撑。
- 無效 URL 占位：參數组合、篩選頁、重复頁把队列资源分散掉。
先排查服務器和响應鏈路
蜘蛛抓取一個 URL 时，最先接触的是服務器和網絡层。如果這一层不稳定，後面的發現和抓取都會受影响。
- 看訪問日誌里蜘蛛請求的响應碼分布，5xx 和超时是否集中在某些目錄或时段。
- 检查 CDN 回源、负载均衡和資料库慢查询，避免源站偶尔卡住。
- 確認 robots.txt 可正常訪問，不要因為临时维護把它變成 5xx。
- 减少不必要的重定向鏈，尤其是入口頁到目标頁之間的多級跳轉。
服務器稳定性不是“抓取優化”的附加項，而是 URL 能被稳定發現和抓取的前提。
再看 Sitemap 和内鏈是否把路径铺好
Sitemap 能帮助蜘蛛發現 URL，但它不保證抓取優先級。真正影响抓取路径的，往往是站内連結结构。
- Sitemap 文件不要過大，必要时按栏目或内容類型拆分，方便蜘蛛分批讀取。
- lastmod 尽量真實，频繁全量更新會让蜘蛛难以判断哪些頁面值得優先回訪。
- 重要頁面應有從首頁或栏目頁出發的短路径，不要只藏在很深的分頁里。
- 检查孤立頁：没有任何内鏈指向的 URL，即使進了 Sitemap，也容易被排在後面。
- 列表分頁、标簽頁和篩選頁要控制數量，避免自動生成大量低差异入口。
运营侧可以做的几件事
- 用日誌確認蜘蛛實际抓了哪些 URL。不要只看报表狀態，结合服務器日誌看抓取频次和路径。
- 清理重复和無效入口。统一 URL 形式，處理软 404、空頁面和參數爆炸。
- 把重要頁面放到更短的内鏈路径上。從高權重頁面给出稳定連結，减少层級。
- 控制一次性新增 URL 的規模。批量發布时分批放出，给抓取队列留出消化時間。
- 保持 URL 结构稳定。频繁改路径、改參數會让已發現的 URL 反复失效。
不要把它当成單獨的開關
“已發現但未抓取”更像一個观察指标。它提醒你：URL 虽然被發現了，但抓取路径、服務器响應和队列優先級可能還有改進空間。與其反复提交 URL，不如先让重要頁面更容易被稳定訪問，让站内路径更清晰。這样即使抓取节奏有波動，蜘蛛也能沿着更确定的路线走。