在搜尋资源平台里，URL 的狀態通常分几種：已抓取、已發現尚未抓取、已编入索引、已排除。其中“已發現，尚未抓取”最容易让人焦虑——連結提交了，蜘蛛顯然也知道它存在，但就是迟迟不来。這篇文章拆解這個狀態的含义、常见卡点和排查顺序。
這個狀態到底代表什么
它說明搜尋引擎已经通過某種方式拿到了這條 URL：可能是 sitemap，可能是蜘蛛池入口頁上的連結，可能是外鏈，也可能是你手動提交。但“知道”不等于“安排抓取”，抓取要消耗资源，搜尋引擎會把它放進队列，按優先級和站点可承受的抓取速度慢慢取。
所以這個狀態本身不是故障，真正需要判断的是：它是暂时排队，還是長期被压在队列底部。几天不動属于正常，几周甚至几個月不動，才值得排查。
常见卡点
1. 抓取预算被低價值頁面消耗
如果站点每天的抓取額度大量花在篩選頁、重复參數頁、站内搜尋结果頁上，留给新 URL 的自然就少。此时不是蜘蛛没發現，而是它没空。
2. 服務器响應质量不過關
抓取前蜘蛛會评估成本。响應時間長期偏高、並發一上来就返回 5xx、或者频繁超时，都會让抓取調度更保守。這種保守是全局的，新 URL 也會被一起拖慢。
3. URL 本身的優先級判定偏低
没有内鏈、没有外鏈、内容與已有頁面高度相似、參數變体一堆，都會降低抓取優先級。搜尋引擎判断的是“抓了有没有價值”，而不是“你提交了几次”。
4. 發現渠道本身不稳定
如果 URL 只依赖蜘蛛池入口頁被發現，而入口頁时好时坏、連結是動態插入的、或者入口頁本身已经被降權，那么“已發現”可能只完成了一半——蜘蛛知道連結存在，却拿不到足够的上下文去判断它的價值。
建议的排查顺序
從外部到内部、從全局到單頁依次看：
- 先看日誌：確認蜘蛛最近是否来過站点、抓了哪些目錄。日誌里完全没有對應 UA，問题偏向發現或調度；日誌里来過却绕開目标 URL，問题偏向结构或優先級。
- 再看服務器：統計一段時間的响應碼分布和平均响應時間。5xx 占比和超时次數，比單纯的抓取次數更值得關注。
- 看抓取分布：哪些目錄吃掉了大部分抓取量。如果低價值目錄占比過高，先收紧那部分，而不是繼續加大入口頁數量。
- 看單頁條件：目标 URL 是否可正常訪問、是否有内鏈支撑、是否與已有頁面重复、參數是否失控。
- 最後看發現方式：入口頁是否還能被正常抓取，連結是否為静態可见的 a 标簽。
可以做的調整
- 清理重复和低质頁面，减少無意义的抓取消耗；
- 把重要 URL 放在站内更浅的位置，用真實内容頁互鏈，而不是只靠入口頁；
- 優化响應速度，避免 5xx 與超时，给抓取留出余量；
- 保持 sitemap 干净，只放需要被收錄的規范 URL；
- 入口頁保持可訪問、連結稳定、内容與目标站相關。
几個常见誤区
反复提交同一條 URL，通常不會明顯改變抓取優先級。提交解决的是“知不知道”，不解决“值不值得抓”。
- 把“已發現”当成“即將收錄”，然後每天提交一次；
- 只堆入口頁數量，不看抓取预算和站点承载能力；
- 忽略服務器日誌，凭感觉判断蜘蛛有没有来。
小结
“已發現，尚未抓取”本质上是一個排队狀態，短時間是正常的。如果長期不動，優先排查抓取预算、服務器响應和 URL 價值，而不是繼續增加提交次數。這些环节理顺之後，抓取节奏通常會慢慢恢复，但具体节奏和结果由搜尋引擎决定，無法承诺時間。