很多站点的问题不是“链接没被发现”，而是“发现之后迟迟没被排上”。蜘蛛的抓取不是打开一个链接就立刻下载，而是先把 URL 放进待抓取队列，再按某种排序把有限的请求额度分出去。理解这个排队过程，比反复提交 URL 更有用。

发现和抓取是两件事

URL 发现指的是蜘蛛在某处看到了这个地址——可能来自 Sitemap、内链、外链，也可能来自重定向链或旧的抓取记录。被发现之后，地址进入队列等待抓取。两者之间可能只差几分钟，也可能差几周，取决于队列里已经积压了多少。

所以判断一条 URL 是否被处理，要看日志里有没有对应的抓取记录，而不是只看提交是否成功、Sitemap 里有没有写。

队列排序受什么影响

• 入口层级：从首页几次点击能到，通常比埋在第五层的页面更早被排上。
• 链接出现的位置和数量：导航、正文里的链接，比页脚角落的链接更容易被反复确认。
• 站点整体抓取压力：同一时间有大量新 URL 涌入，队列会变长，单个地址的等待时间自然拉长。
• 服务器响应：响应慢或经常超时，蜘蛛会主动降低抓取频率，队列消化速度随之下降。
• 内容差异度：大量模板雷同的页面容易被判定为低价值，排到后面。

三个可以动手检查的地方

1. 日志里的“发现—抓取”时间差

把同一 URL 第一次出现在日志里的时间，和第一次被真正抓取的时间放在一起对比。差值持续扩大，说明队列消化能力跟不上，问题多半在出口（服务器、重复内容），而不是入口。

2. 新 URL 的投放节奏

把上万条新地址一次性铺开，往往不如分批放出。每批控制在一个可消化的量，配合内链逐步接入，队列压力更平稳。Sitemap 分片更新也是同样道理，不必每次全量提交。

3. 内链是否指向新地址

Sitemap 只是申报通道，内链才是蜘蛛更信得过的通路。新页面上线后，从抓取频率稳定的已有页面挂一到两个链接过去，比单纯提交更实在。

几个常见误解

提交了 Sitemap 就等于会被抓取，这是不对的。Sitemap 解决的是“知道有这个地址”，不解决“什么时候来抓”。

另一个误区是认为老页面被反复抓是浪费。实际上老页面承担着链接通路的角色，蜘蛛通过它们维持对站点的整体认知，完全切断并不现实。能做的是让有价值的新地址也有通路被走到。

小结

1. 先分清 URL 是被发现还是被丢弃，再看是否进入队列。
2. 用日志对比发现与抓取的时间差，定位瓶颈在入口还是出口。
3. 控制新地址的投放节奏，分批配合内链接入。
4. 保证服务器稳定，别让超时拖慢队列消化。