同一批内容上线，十個新 URL 摆在站内，過几天翻日誌會發現：两三條已经被抓過好几轮，另几條连一次訪問都没有。很多人第一反應是“蜘蛛没發現”，其實更常见的情况是——發現了，但排在队列後面，還没轮到。
抓取队列不是先来先服務
蜘蛛手里的待抓列表，通常遠大于它愿意花在一個站上的時間。它需要在有限額度里挑出“現在最值得跑”的 URL，于是排队顺序就成了一種動態评估结果，每天都在變。同一個連結在不同時間的優先級，也可能不一样。
影响排队顺序的几類因素
1. 連結深度與入口位置
离首頁越近、被越多有效頁面指向的 URL，越容易被提前處理。導航、面包屑、正文里的自然引用，作用通常高于頁脚、侧栏的批量連結。一個只挂在“最新文章”列表第五頁的詳情頁，被發現的時間往往晚于同類頁面里挂在首屏的那條。
2. 更新信号是否可信
lastmod 時間戳、頁面内容的實际變化、列表頁的更新频率，都會進入判断。如果 Sitemap 里所有 URL 的 lastmod 每天全量刷新，這個信号很快就會贬值，蜘蛛倾向于不再按它排優先級，而是按自己的节奏来。
3. 同一 URL 的歷史表現
返回 200 且有實质内容的頁面，被再次訪問的概率更高。相反，長期 404、5xx、软 404、内容几乎一致的頁面，會让蜘蛛降低對该目錄、该模板的抓取意愿，连带着影响同批上线的新頁。
4. 服務器响應與错誤率
抓取是有成本的。响應慢、超时多、同一时段大量 429 或 503，蜘蛛會主動降速，队列整体後移。這更像“先避一避，等等再来”，而不是针對某個頁面的處理。
5. 站点整体的抓取预算
可抓頁面的總量、平均响應時間、無效 URL 的比例，共同决定蜘蛛每天愿意在這站跑多少頁。無效 URL 越多，留给新頁的份額就越少。
几個容易誤判的情况
- 提交了 Sitemap 就等于排到前面：Sitemap 主要解决“發現”，不保證顺序。
- 没被抓就是没被知道：日誌只记錄抓取，不记錄發現，不少 URL 其實已经在队列里。
- 内鏈越多越快：重复、無意义的連結堆叠，不會明顯提升優先級，反而稀释頁面本身的信号。
與其反复提交同一批 URL，不如先看看這些 URL 在站内的位置：谁指向它、离首頁多遠、所在目錄的歷史表現如何。
站点侧可以做的調整
- 把重要新頁放在可被稳定訪問的浅层位置：導航、栏目首屏、相關阅讀区块。
- Sitemap 只放真正需要被發現的 URL，lastmod 反映真實修改時間。
- 合並或下线長期無内容、參數重复、返回软 404 的頁面，降低無效 URL 占比。
- 控制單頁体积與首字节時間，避免在高峰期集中發布大量新頁。
- 观察抓取日誌里的响應碼分布，5xx 與超时一旦抬头，先稳住服務，再谈抓取量。
排队顺序會一直變化，站点能做的是把信号给清楚：可訪問、有内容、有入口、有真實更新。做到這些，新 URL 被安排的時間通常會稳定一些，但任何時間点被抓、被收錄都不是可以约定的事。