在抓取日誌或站長工具的覆盖报告里，经常會出現一批狀態為“已發現但尚未抓取”的 URL。它們不是被 robots 拦截，也没有返回错誤碼，只是停留在队列里等待。這類积压通常不是單一原因造成的，而是 URL 發現来源、服務器响應速度和内容重复度共同作用的结果。排查时，先把“發現”與“抓取”两個环节分開看，更容易找到瓶颈。
先分清 URL 是怎么被發現的
同一個 URL 可能同时来自内鏈、XML 站点地图、外鏈、重定向跳轉或脚本注入。来源不同，蜘蛛對它的兴趣也不同。
- 内鏈發現：通常優先級較高，尤其是導航、列表頁和正文中的連結。
- Sitemap 發現：能补充覆盖，但如果頁面上没有對應入口，抓取動力會弱一些。
- 外鏈發現：取决于来源頁的抓取频率和連結位置。
- 重定向與脚本發現：容易被忽略，也容易带来重复入口。
如果某個 URL 只在站点地图里出現，站内没有任何指向它的連結，它長期停在“已發現”狀態並不意外。此时與其反复提交，不如先给它安排一個正常的站内入口。
队列积压的常见原因
1. 服務器响應慢或抖動
抓取预算和服務器承载能力直接相關。如果同一路径下大量頁面响應時間偏長，或者偶尔出現超时、连接中断，蜘蛛會降低對该目錄的抓取频率。日誌里可以重点看首字节時間、连接耗时和 5xx 的比例。
2. Sitemap 里塞了太多低價值 URL
分頁參數、篩選排序、带跟踪參數的連結，如果都被寫進站点地图，會稀释真正需要抓取的頁面。站点地图應当以稳定、可索引、有獨立内容的 URL 為主。
3. 内鏈只出現在深层或孤岛頁面
連結存在不等于連結有效。如果連結位于很少被抓取的頁面，或者被折叠、懒加载、需要多次交互才能展開，蜘蛛可能看不到，或者看到了也不會優先安排。
4. 内容高度相似或重复
同一内容對應多個 URL，例如大小寫、參數、打印版、會话 ID 等，會让蜘蛛反复遇到相似頁面。减少重复入口，比增加提交量更有效。
一份可执行的核對清單
- 從服務器日誌中筛出该路径，確認是否真的從未被抓取，還是抓取過但未索引。
- 检查 robots.txt、meta robots 和 X-Robots-Tag，排除誤拦截。
- 測試頁面返回碼，確認不是软 404、重定向鏈或空内容。
- 查看该 URL 在站内是否有可点击連結，連結是否出現在被抓取频繁的頁面。
- 检查站点地图，移除重复、重定向和參數扩散的 URL。
- 對比同目錄下已被抓取的頁面，看响應速度和模板结构是否存在差异。
- 確認没有通過脚本動態生成的唯一連結在批量扩散。
調整顺序：先修可達性，再补入口
處理积压时，顺序比動作數量重要。先解决服務器稳定性和重复 URL，再补充内鏈，最後才是提交或等待。如果一開始就大量提交，而服務器响應没有改善，队列只會更拥堵。
抓取队列的清理，靠的是减少無效發現，而不是增加提交频率。
观察哪些指标
- 日誌中该路径的首次抓取時間與回訪間隔。
- 同目錄下已抓取 URL 的數量變化。
- 站点地图提交後的抓取比例，而不是提交總數。
- 服務器平均响應時間和错誤率是否同步下降。
“已發現未抓取”並不一定意味着網站有問题，但如果同一批 URL 在較長時間内没有進展，就值得按上面的顺序核對一遍。把入口做清晰、把响應做稳定、把重复 URL 收敛掉，通常比反复提交更接近問题的實际解法。