同一批内容上线，十个新 URL 摆在站内，过几天翻日志会发现：两三条已经被抓过好几轮，另几条连一次访问都没有。很多人第一反应是“蜘蛛没发现”，其实更常见的情况是——发现了，但排在队列后面，还没轮到。
抓取队列不是先来先服务
蜘蛛手里的待抓列表，通常远大于它愿意花在一个站上的时间。它需要在有限额度里挑出“现在最值得跑”的 URL，于是排队顺序就成了一种动态评估结果，每天都在变。同一个链接在不同时间的优先级，也可能不一样。
影响排队顺序的几类因素
1. 链接深度与入口位置
离首页越近、被越多有效页面指向的 URL，越容易被提前处理。导航、面包屑、正文里的自然引用，作用通常高于页脚、侧栏的批量链接。一个只挂在“最新文章”列表第五页的详情页，被发现的时间往往晚于同类页面里挂在首屏的那条。
2. 更新信号是否可信
lastmod 时间戳、页面内容的实际变化、列表页的更新频率，都会进入判断。如果 Sitemap 里所有 URL 的 lastmod 每天全量刷新，这个信号很快就会贬值，蜘蛛倾向于不再按它排优先级，而是按自己的节奏来。
3. 同一 URL 的历史表现
返回 200 且有实质内容的页面，被再次访问的概率更高。相反，长期 404、5xx、软 404、内容几乎一致的页面，会让蜘蛛降低对该目录、该模板的抓取意愿，连带着影响同批上线的新页。
4. 服务器响应与错误率
抓取是有成本的。响应慢、超时多、同一时段大量 429 或 503，蜘蛛会主动降速，队列整体后移。这更像“先避一避，等等再来”，而不是针对某个页面的处理。
5. 站点整体的抓取预算
可抓页面的总量、平均响应时间、无效 URL 的比例，共同决定蜘蛛每天愿意在这站跑多少页。无效 URL 越多，留给新页的份额就越少。
几个容易误判的情况
- 提交了 Sitemap 就等于排到前面：Sitemap 主要解决“发现”，不保证顺序。
- 没被抓就是没被知道：日志只记录抓取，不记录发现，不少 URL 其实已经在队列里。
- 内链越多越快：重复、无意义的链接堆叠，不会明显提升优先级，反而稀释页面本身的信号。
与其反复提交同一批 URL，不如先看看这些 URL 在站内的位置：谁指向它、离首页多远、所在目录的历史表现如何。
站点侧可以做的调整
- 把重要新页放在可被稳定访问的浅层位置：导航、栏目首屏、相关阅读区块。
- Sitemap 只放真正需要被发现的 URL，lastmod 反映真实修改时间。
- 合并或下线长期无内容、参数重复、返回软 404 的页面，降低无效 URL 占比。
- 控制单页体积与首字节时间，避免在高峰期集中发布大量新页。
- 观察抓取日志里的响应码分布，5xx 与超时一旦抬头，先稳住服务，再谈抓取量。
排队顺序会一直变化，站点能做的是把信号给清楚：可访问、有内容、有入口、有真实更新。做到这些，新 URL 被安排的时间通常会稳定一些，但任何时间点被抓、被收录都不是可以约定的事。