不少站长会盯着日志问：为什么刚发布的页面几分钟就被蜘蛛访问，而一些老页面几个月都不更新一次？也有人发现，自己明明提交了新 URL，蜘蛛却先去翻旧列表。这背后不是蜘蛛随机乱走，而是抓取队列在调度。
抓取队列不是先来后到
蜘蛛面对的是全互联网的 URL 池。它需要控制请求速率、避免压垮服务器，也要尽量把有限的抓取额度花在“值得抓”的地址上。因此，抓取队列会综合考虑 URL 的发现时间、历史抓取质量、页面更新频率、站点整体稳定性以及内链位置。新 URL 和旧页面并不是在同一条队伍里简单排队，而是由不同信号推着走。
新 URL 与旧页面的竞争
新 URL 的优势是“新鲜”，它通常通过内链、Sitemap、RSS 或提交接口进入发现通道。但发现不等于立刻抓取，蜘蛛还要判断这条链接是否值得优先安排。旧页面的优势是“已知”，蜘蛛有它的历史记录，会按一定周期回来看看有没有变化。如果旧页面长期没有更新，重访间隔可能拉长；如果它突然出现新内容或新内链，重访间隔又可能缩短。
新链接的露出位置很关键
同一批新 URL，放在首页、栏目页、Sitemap 和文章底部的推荐位，进入抓取队列的速度往往不同。蜘蛛更倾向顺着稳定、层级清晰、点击深度浅的链接走。如果新页面只藏在深层分页或需要多次点击才能到达，它可能先被记下，但抓取排期会往后靠。
旧页面的重访信号
- 页面内容是否真的发生变化，而不是只改模板或广告位。
- 内链是否持续指向它，尤其是来自首页或栏目的链接。
- Sitemap 中的 lastmod 是否与实际修改时间一致。
- 历史抓取是否稳定返回 200，且响应速度在可接受范围。
站点可以做的配合
与其猜测蜘蛛的优先级，不如把几个基础信号做稳。蜘蛛不会因为一次提交就长期偏爱某个页面，但稳定的结构能减少它做判断的成本。
- 保持内链稳定。重要页面不要频繁更换 URL 或从导航中撤下，否则蜘蛛需要重新发现路径。
- 更新后让链接重新露出。有新内容时，可以在相关栏目、聚合页或旧文中加入指向链接，给蜘蛛一个再次访问的理由。
- Sitemap 的 lastmod 要准确。如果每次发布都批量刷新全站时间，蜘蛛会逐渐降低对这个信号的信任。
- 服务器保持可抓取。频繁超时、5xx 或连接中断，会让蜘蛛放慢对整站的抓取节奏。
- 减少无意义参数 URL。大量筛选、排序、会话参数会把新页面的抓取机会稀释掉。
从日志判断优先级
想了解自己站点在新旧 URL 之间的抓取分配，可以看服务器日志里的蜘蛛访问记录。重点不是只看总抓取量，而是看新 URL 从首次发现到首次抓取隔了多久、旧页面重访间隔是缩短还是拉长、抓取时返回的状态码和响应时间是否正常。把这几项放在一起，才能判断问题出在发现、排队还是服务器响应。
抓取队列的优先级无法被人为完全控制。能做的，是让重要 URL 更容易被发现、更稳定地被访问，并减少让蜘蛛犹豫的信号。
新 URL 和旧页面并不是二选一。蜘蛛会同时维护发现、重访和更新判断。站点结构越清晰、响应越稳定、内容变化越可识别，蜘蛛越容易做出接近你预期的调度。与其追逐单次抓取，不如把抓取路径上的基础环节长期维护好。