先分清“已發現”和“已抓取”是两個阶段
在各類站長後台里，URL 的狀態大致會经歷几個阶段：已發現、已抓取、已编入索引。“已發現”只說明搜尋蜘蛛從某個来源知道了這個地址的存在，来源可能是蜘蛛池入口頁上的連結、sitemap、主動推送、外鏈，也可能是其他頁面的引用。它並不代表搜尋蜘蛛已经来過。
從“已發現”到“已抓取”之間，隔着一個排队和配額的過程。搜尋蜘蛛每天能抓多少頁面，取决于它對整個站点的抓取速度预估。入口頁能把 URL 送進待抓队列，但排不排得上、什么时候排上，入口頁本身说了不算。
停在“已發現”的常见原因
如果入口頁明明被抓了，目标 URL 却長期停在“已發現”，一般能從下面几類問题里找到线索。
- 待抓队列太長。入口頁铺了几千上萬個連結，而站点每天只有几十次抓取額度，队列消化不完，新連結一直排不上。
- 目标 URL 所在站点整体抓取速度低。新站或長期没有稳定更新的站点，搜尋蜘蛛给出的抓取速度本身就很保守。
- 入口頁的連結质量弱。連結藏在頁脚、由 JavaScript 生成、用图片承载，或者入口頁内容高度模板化，都會让這條連結的優先級更低。
- 目标 URL 存在抓取障碍。robots.txt 拦截、服務器長時間超时、返回 403 或 5xx，都會让蜘蛛抓到一半就登出，並降低後續的抓取意愿。
- URL 參數過多。同一份内容产生几十個带不同參數的地址，會把抓取配額稀释掉。
用日誌確認卡在哪一环
比起反复刷後台狀態，直接看服務器日誌更實在。重点確認三件事：入口頁有没有被真實搜尋蜘蛛抓取、抓取频次是多少、目标 URL 有没有出現過請求记錄。
- 篩選日誌中的搜尋蜘蛛 UA 與 IP，統計入口頁每天被抓几次。
- 在同一份日誌里搜尋目标 URL，看是否有請求、返回碼是什么。
- 如果目标 URL 從未出現，說明卡在發現之後的排队环节；如果出現過但返回 403、404、5xx，說明卡在抓取环节。
- 對照 robots.txt，確認目标 URL 不在拦截范围内。
两類结论對應的處理方向完全不同：前者要减少入口頁的無效連結、给目标 URL 让出配額；後者要先修服務器和狀態碼問题。
入口頁這邊可以調整的几件事
- 控制連結總量。與其让一個入口頁挂上萬個外鏈，不如把數量压下来，保證每個連結都有被排進队列的可能。
- 保證入口頁自身可稳定抓取。响應時間稳定、返回 200、不要動不動跳轉或彈驗證。
- 用普通 a 标簽、正文可见的锚文本。連結可被解析、可被点击，比脚本生成或隐藏連結更可靠。
- 配合 sitemap 與主動推送。它們不能保證被抓，但能让發現来源更明确，减少對入口頁連結的單一依赖。
- 给目标 URL 补内部連結。站内導航、相關推荐、栏目頁的連結，往往比外部入口頁的連結更容易获得稳定的抓取。
- 收敛參數。能用静態路径就用静態路径，避免同一内容對應多套參數地址。
什么时候该停止等待
長尾站点的抓取速度慢是常態，從“已發現”到“已抓取”等上几周並不罕见。如果日誌顯示入口頁稳定被抓、目标 URL 可正常訪問、也没有任何拦截，那么能做的更多是優化站内结构和内容更新节奏，而不是繼續加入口頁。繼續堆連結通常只是把队列拉得更長，並不會让某一個 URL 更快被處理。
抓取和收錄由搜尋引擎自行决定，入口頁、sitemap 或推送手段都只是提供线索，不能保證一定被抓取或获得排名。