很多站点运营者會盯着服務器日誌問：這個 URL 明明已经通過内鏈或 Sitemap 暴露了，為什么蜘蛛還不来？答案往往不在“發現”這一步，而在發現之後的抓取队列。蜘蛛把 URL 放進待抓列表，並不代表它會立刻出發；它還要排队、去重、评估優先級，再根據服務器狀態决定什么时候来。
URL 發現與抓取是两件事
URL 發現只是把地址交给了搜尋引擎，常见入口包括内鏈、Sitemap、外鏈、站長平台提交和站内搜尋等。進入待抓队列後，蜘蛛會做一轮初步判断：這個 URL 是否重复、是否被 robots.txt 屏蔽、是否属于低质模板頁、歷史上是否频繁返回错誤。通過篩選的 URL 才會進入真正的抓取調度。
因此，“提交了 Sitemap 却没有抓取”通常不是提交失敗，而是队列里還有更值得先抓的頁面，或者這個 URL 被判定為低優先級。
影响队列顺序的常见信号
- 内鏈位置與數量：首頁、導航、列表頁和正文里的連結，通常比頁脚或深层分頁里的連結更容易获得較高優先級。
- 頁面更新频率：经常更新且内容有實际變化的頁面，回訪間隔可能更短；長期不變的頁面則可能被拉長抓取周期。
- 服務器响應：响應慢、频繁 5xx、连接重置，都會让蜘蛛降低该站点的抓取节奏，甚至暂时放慢队列。
- 歷史抓取表現：如果某個目錄大量返回 404、软 404 或空頁面，蜘蛛會逐渐降低對這一片区域的信任。
- URL 结构：參數過多、大小寫混用、斜杠不一致，容易产生重复 URL，消耗队列位置。
這些信号不是開關，而是综合參考。不同站点、不同目錄的權重不同，蜘蛛的調度也會動態調整。
内鏈與 Sitemap 怎样配合
内鏈是蜘蛛發現 URL 的主要路径。一個頁面如果只出現在 Sitemap 里，而没有站内連結指向它，它可能被收錄，但抓取優先級通常不如有内鏈支撑的頁面。反過来，内鏈如果混乱，比如大量指向篩選參數、重复列表頁，也會把蜘蛛引向低價值 URL。
Sitemap 更适合做补充：把重要頁面、新頁面、孤岛頁面集中列出来，並保持 lastmod 真實。不要為了“全量提交”把低质頁、已刪除頁也塞進去，否則蜘蛛會浪費队列去驗證這些地址。
抓取队列不是先到先得，而是持續评估後的動態列表。你铺的路越清晰，蜘蛛越容易把時間花在值得抓的頁面上。
服務器端可以做的配合
- 保持稳定响應，避免高峰时段大量超时。
- 對蜘蛛請求返回明确狀態碼：正常 200、永久移除 301/410、临时不可用 503，而不是一直 200 返回空内容。
- 不要因為蜘蛛並發稍高就频繁封禁 IP，這會让抓取节奏變得更保守。
- 通過日誌观察蜘蛛訪問频率、狀態碼和响應時間，找到被反复抓取的低價值 URL。
队列积压时，先清理再加速
当發現大量 URL 迟迟不抓，先別急着提交更多入口。優先做三件事：合並重复 URL，清理软 404 和空结果頁，把重要頁面的内鏈從深层挪到更靠近首頁的位置。如果站点有大量篩選參數，可以用 robots.txt 或規范标簽减少無效组合，但要注意“不抓取”和“不索引”是两回事。
之後再看 Sitemap 是否只列了真正需要抓取的頁面，以及服務器是否在响應慢时拖累了整体抓取。抓取队列的改善通常不是一次操作的结果，而是内鏈、Sitemap、服務器狀態和内容更新共同作用後的變化。
最後，不要承诺蜘蛛一定會在某個時間抓取或收錄。观察日誌里的趋势，比盯着單次提交更有意义。