在後台的頁面报告里，有一個容易被忽略的狀態：“已發現 - 目前尚未抓取”。它和“已抓取 - 目前尚未编入索引”不是一回事：前者說明搜尋引擎已经知道這個 URL 存在，但還没安排抓取；後者說明内容已经取回去了，只是在後續的索引處理环节被搁置。搞清這两步的区別，處理方向才不會跑偏——前者要解决的是抓取队列和入口問题，後者才轮到頁面质量與内容层面。
先確認狀態，再動手
後台狀態只是排队情况的一種表達，不一定是最终事實。動手之前先做几個交叉核對：
- 服務器日誌：看這個路径有没有被任何 UA 訪問過。有时狀態更新滞後，實际抓取已经發生。
- 其他訪問来源：同一個 URL 有没有被別的爬虫、站点监控、CDN 回源日誌訪問過，避免誤判為“完全没人来過”。
- URL 是否可直连：把地址單獨打開，確認返回 200，没有多跳重定向、没有要求登入、没有對爬虫返回不同内容。
- 是否被指令挡住：robots.txt 的 Disallow、meta robots 的 noindex，以及服務端對某些 UA 的封禁，都可能導致“發現了却取不到”。
如果上面几條都正常，問题基本就落在抓取排队的優先級上了。
抓取队列里的常见卡点
入口太少、位置太深
一個 URL 被發現的途径通常只有内鏈、sitemap 和外部連結。如果它只出現在列表第 8 頁之後，或者只有一條来自頁脚的連結，抓取優先級自然偏低。可以把重要頁面放進栏目導航、面包屑、相關推荐位，让它在站点结构里有稳定、可预期的入口。
站点整体抓取被低價值地址占用
抓取资源是有限的。如果站内存在大量篩選參數、排序參數、會话 ID、重复的列表分頁、空结果頁，爬虫會把時間花在這些地址上，真正的内容頁就往後排。處理顺序建议是：
- 先看日誌里被高频抓取的路径，找出占比異常的目錄或參數。
- 對無實际内容的篩選组合、空结果頁，用 robots.txt 或 noindex 收口，但不要一刀切挡住有價值的列表頁。
- 對同一内容的多參數版本，保留一個規范入口，其余通過 canonical 或内部連結收敛。
- 確認 sitemap 里没有混入大量 404、重定向、參數地址，避免把队列浪費掉。
响應速度與頁面体积
响應慢、频繁超时、單頁资源過大，都會降低抓取效率。這類問题在日誌里通常表現為抓取频率下降或大量 5xx。先把服務端稳定性解决，再谈其他優化。
提高優先級的几個動作
- 把新頁面挂到当天就會被訪問到的位置，例如首頁推荐位或栏目首屏。
- 在 sitemap 中只保留真正希望被索引的地址，並保持 lastmod 准确。
- 用站内連結传递明确的主题相關性，避免锚文本全是“点击這里”。
- 清理软 404：返回 200 但内容為空、内容极少或與标题無關的頁面，既影响抓取也影响後續的收錄判断。
抓取排队没有固定的等待时長，也没有任何操作能保證一定被收錄。能做的是减少無谓消耗、把入口和價值信号做清楚，然後观察趋势。
观察节奏與後續判断
調整之後，用日誌和後台狀態一起看：被抓取的路径是否從低價值地址轉向内容頁，目标 URL 是否開始出現抓取记錄，狀態是否從“已發現”推進到“已抓取”。一般以周為單位观察比較合理，短期内频繁改结构反而不利于判断。
如果几周後狀態没有變化，再回头检查是否存在更隐蔽的問题：入口頁面本身没被收錄、内鏈要等 JS 渲染後才出現、或者站点整体抓取規模偏小。把這些逐項排除，比反复單獨提交一個 URL 更有意义。