在抓取統計里，经常能看到一個狀態：URL 已经被發現，但一直没有被抓取。頁面本身没問题，robots 也没拦，就是排队排不上。這不是蜘蛛忘了你，而是队列在按自己的規則决定先後。
“已發現未抓取”到底是什么意思
它表示蜘蛛已经從某個入口拿到了這條 URL，可能来自 Sitemap、内鏈或者站外連結，但還没有真正發起請求。這和抓取失敗不一样：失敗至少說明請求發出去了，未抓取是這個 URL 還站在队伍里等。
排队的顺序不由你决定，但队伍的長度和你有關。
常见的排队原因
- 站内可抓 URL 太多：列表頁翻頁、篩選參數、日歷归档會生成大量低差异地址，把队列撑得很長。
- 抓取速率上不去：服務器响應慢或频繁波動，蜘蛛會主動降速，队列消化得更慢。
- 入口质量偏低：URL 只出現在頁脚深层或某個孤立聚合頁，蜘蛛對它的優先級判断自然靠後。
- Sitemap 與内鏈脱节：Sitemap 里有，站内却没有連結指向它，蜘蛛很难判断這條地址有多重要。
- 站点近期不稳定：5xx 和超时集中出現後，蜘蛛會收缩抓取范围，新 URL 往往排在更後面。
- 结构重复：同一内容存在多個 URL 形態，抓取額度被重复地址消耗掉。
建议的排查顺序
- 確認這條 URL 是否真的能從站内到達，找一條從首頁出發的点击路径，看层級是否過深。
- 检查 Sitemap 是否包含它，分片是否過大，lastmod 是否有虚标。
- 翻服務器日誌里同目錄、同類頁面的响應時間和狀態碼，看是否存在整体抖動。
- 統計同類型 URL 的總量，判断队列是不是被參數頁、分頁撑爆了。
- 看這條 URL 是否有獨特的标题、正文和可索引内容，而不是模板空壳。
能做的和不能做的
能做的：减少無意义 URL，把重要頁面放回清晰的内鏈位置，稳定服務器，让 Sitemap 與真實结构保持一致。這些動作會缩短队列，也會让優先級判断更准确。
不能做的：反复提交、频繁改動 URL、堆叠大量低质頁面指望撞运气。提交只是一次提醒，並不改變排队規則。
“已發現未抓取”多數时候是容量問题，不是故障。先看總量和速度，再看單條 URL。
观察周期
處理完结构問题後，不要指望立刻见效。抓取队列的消化是渐進的，通常需要几周時間才能從統計里看出拐点。這段時間里，保持结构稳定比繼續折腾结构更有價值。