先理解“已發現”和“已抓取”是两件事
在搜尋抓取工具里，URL 狀態经常出現“已發現但未抓取”。它表示搜尋蜘蛛通過某個入口知道了這個地址，比如 Sitemap、内鏈、外鏈或歷史记錄，但還没有實际訪問。發現只是進入候選池，抓取才需要消耗服務器资源和抓取額度。两者之間隔着一個队列。
因此，看到這個狀態不必立刻認定被惩罚。更值得關注的是：地址是否長期停在這里，以及它是不是你希望優先被抓取的内容。
常见原因：為什么蜘蛛知道地址却不来
1. 服務器响應慢或不稳定
搜尋蜘蛛在安排抓取时會參考歷史抓取体驗。如果站点经常超时、返回 5xx，或者同一時間只能處理很少請求，蜘蛛會主動降低抓取节奏。新發現的 URL 就會被排到後面。
服務器稳定性不是技術细节，它直接决定蜘蛛愿不愿意把抓取額度花在你這里。
2. 内鏈太弱或入口太深
如果 URL 只出現在 Sitemap 里，站内几乎没有指向它的連結，蜘蛛對它的重要性判断會偏低。Sitemap 能申报地址，但内鏈负责背书。缺少内鏈的頁面，很容易長期停留在“已發現”狀態。
3. 頁面價值信号不足
大量相似頁面、空内容、重复模板、參數生成的無效地址，都會稀释抓取意愿。蜘蛛會優先訪問有獨特内容、有更新、有外部引用的地址。
4. 抓取预算被低價值地址占用
如果站内存在大量篩選參數、标簽组合、分頁副本，蜘蛛的抓取額度會被這些地址消耗。真正重要的新頁面反而排不上队。定期收敛低價值 URL 很重要。
5. Sitemap 提交了但缺乏更新信号
Sitemap 能帮助發現，但如果 lastmod 長期不變，或者每次提交都包含大量舊地址，蜘蛛會降低對该文件的信任。新地址混在舊地址里，不容易被單獨识別。
處理顺序：先排除硬障碍，再優化软信号
- 检查可訪問性：用無 JS 环境訪問 URL，確認返回 200，内容不是空壳，也没有誤设 noindex。
- 检查服務器：观察日誌中的响應時間、5xx 比例和超时记錄。先让服務器稳定，再谈抓取频率。
- 检查内鏈：從首頁或栏目頁给目标 URL 增加一两個自然入口，锚文本要能說明頁面主题。
- 检查 Sitemap：只保留規范 URL，更新 lastmod，避免把參數頁和重复頁全部塞進去。
- 检查低價值地址：用 robots.txt 或 noindex 處理無意义的篩選组合，但不要誤伤有搜尋需求的頁面。
- 观察日誌：看蜘蛛是否訪問了同目錄的其他頁面，以及訪問频率是否在回升。日誌比後台狀態更接近真實抓取路径。
哪些情况可以等，哪些情况要改
如果 URL 上线不久，站内已有清晰内鏈，服務器也稳定，那么停留在“已發現”几天到几周並不罕见。蜘蛛有自己的节奏，尤其在新站或低權重站点上。
如果地址已经等待數月，内鏈入口很深，或者同批 URL 都没有被抓取，就需要主動調整。優先從内鏈和服務器反馈入手，而不是反复提交 Sitemap。重复提交通常不會让队列前進。
用巡检代替焦虑
把“已發現未抓取”的 URL 數量、平均等待時間、服務器错誤率放進月度巡检。分组看待：新闻、商品、文档各自有不同预期。只要重要地址能持續進入抓取，少量長尾地址等待是正常現象。
小结
URL 發現是入场券，抓取才是真正消耗资源的一步。面對“已發現但未抓取”，先確認站点没有硬故障，再检查内鏈和 Sitemap 是否给出了足够清晰的信号。服務器稳定、结构清晰、低價值地址收敛，蜘蛛才更可能把有限的抓取額度用在值得的頁面上。