很多站点的問题不是“連結没被發現”，而是“發現之後迟迟没被排上”。蜘蛛的抓取不是打開一個連結就立刻下载，而是先把 URL 放進待抓取队列，再按某種排序把有限的請求額度分出去。理解這個排队過程，比反复提交 URL 更有用。
發現和抓取是两件事
URL 發現指的是蜘蛛在某處看到了這個地址——可能来自 Sitemap、内鏈、外鏈，也可能来自重定向鏈或舊的抓取记錄。被發現之後，地址進入队列等待抓取。两者之間可能只差几分钟，也可能差几周，取决于队列里已经积压了多少。
所以判断一條 URL 是否被處理，要看日誌里有没有對應的抓取记錄，而不是只看提交是否成功、Sitemap 里有没有寫。
队列排序受什么影响
- 入口层級：從首頁几次点击能到，通常比埋在第五层的頁面更早被排上。
- 連結出現的位置和數量：導航、正文里的連結，比頁脚角落的連結更容易被反复確認。
- 站点整体抓取压力：同一時間有大量新 URL 涌入，队列會變長，單個地址的等待時間自然拉長。
- 服務器响應：响應慢或经常超时，蜘蛛會主動降低抓取频率，队列消化速度随之下降。
- 内容差异度：大量模板雷同的頁面容易被判定為低價值，排到後面。
三個可以動手检查的地方
1. 日誌里的“發現—抓取”時間差
把同一 URL 第一次出現在日誌里的時間，和第一次被真正抓取的時間放在一起對比。差值持續扩大，說明队列消化能力跟不上，問题多半在出口（服務器、重复内容），而不是入口。
2. 新 URL 的投放节奏
把上萬條新地址一次性铺開，往往不如分批放出。每批控制在一個可消化的量，配合内鏈逐步接入，队列压力更平稳。Sitemap 分片更新也是同样道理，不必每次全量提交。
3. 内鏈是否指向新地址
Sitemap 只是申报通道，内鏈才是蜘蛛更信得過的通路。新頁面上线後，從抓取频率稳定的已有頁面挂一到两個連結過去，比單纯提交更實在。
几個常见誤解
提交了 Sitemap 就等于會被抓取，這是不對的。Sitemap 解决的是“知道有這個地址”，不解决“什么时候来抓”。
另一個誤区是認為老頁面被反复抓是浪費。實际上老頁面承担着連結通路的角色，蜘蛛通過它們维持對站点的整体認知，完全切断並不現實。能做的是让有價值的新地址也有通路被走到。
小结
- 先分清 URL 是被發現還是被丢弃，再看是否進入队列。
- 用日誌對比發現與抓取的時間差，定位瓶颈在入口還是出口。
- 控制新地址的投放节奏，分批配合内連結入。
- 保證服務器稳定，別让超时拖慢队列消化。