不少站点在 URL 发现这一环做得不错：内链通畅、Sitemap 完整、日志里也能看到搜索蜘蛛的访问记录。但更常见的情况是，被发现的地址远远多于被真正走一遍的地址。搜索蜘蛛在单个站点上愿意消耗的资源是有限的，这份额度怎么分配，直接决定了新内容多久被看到一次。
额度不是按「你有多少 URL」来算的
抓取额度的分配带有一定的自适应特征：站点响应快、页面稳定、重复内容少，蜘蛛愿意多走一些；反过来，如果服务器经常超时、同一份内容散落在多个地址上，蜘蛛会主动收缩。所以额度并不是一个固定数字，而是站点健康状况的一个结果。
这也意味着，单纯增加 URL 数量不会换来更多抓取。相反，低质量地址越多，留给新地址的份额可能越少。
同一份额度里，至少有三股需求在抢
- 新 URL：第一次进入待抓队列的地址，需要完整抓取一遍才能进入后续流程。
- 更新过的 URL：内容改动、时间戳变化，希望被重新读取。
- 存量复检：长期没变的页面也要定期确认是否还能正常访问。
三股需求共用同一份资源。当站点的地址总量变大时，复检这一块会自然吃掉越来越多份额，新 URL 的等待时间就会被拉长。
排序时通常会被参考的几个信号
- 链接所处的位置：来自首页或栏目导航的链接，被发现和排队的优先级通常高于深埋在正文里的链接。
- URL 的历史表现：过去经常有更新的地址，复检频率会更高。
- Sitemap 里的时间信息：如果 lastmod 长期不变或大面积失真，这个信号的价值会下降。
- 站点的整体抓取反馈：响应时间、错误率、重复地址比例都会影响额度总量。
这些信号没有公开的权重表，能观察到的是趋势：位置越浅、越稳定、越独特的地址，越容易被优先处理。
实操：把额度往新 URL 上引
- 给新地址一个浅的位置。新发布的页面尽量从首页或一级栏目能在两三次跳转内到达，而不是等它慢慢被深层链接带出来。
- Sitemap 单独分出新增部分。把所有地址混在一个文件里更新，和把新增地址单独列出，蜘蛛读取时的效率并不一样。
- 收敛低价值地址。筛选参数、排序参数、会话 ID、重复的分页地址，能合并的合并，能挡的挡。少一批地址，就少一批需要复检的负担。
- 保住服务器稳定性。抓取过程中频繁出现 5xx 或长时间超时，额度收缩几乎是必然的，前面几步的优化也会被抵消。
- 不要靠大量内部链接堆叠。同一批新地址被反复链接几十次，通常不会加快多少，反而让页面结构变乱。
几个容易踩的坑
- 把 noindex 当成节省额度的万能工具。它影响的是索引，不等于蜘蛛不会来抓。
- 以为提交地址就等于进入抓取队列的前列。提交只解决发现，不解决排序。
- 频繁改动已发布页面的时间戳，让 lastmod 失去参考意义。
发现是入口，抓取是过程，两者之间隔着一段等待。能做的不是催，而是让等待队列更干净、更有序。
把抓取额度理解成一份需要管理的资源，思路会更清楚：一边减少不必要地址的消耗，一边把新地址放到更容易被看到的位置上。具体效果因站点规模、架构和内容更新节奏而异，建议结合服务器日志观察实际抓取分布，再逐步调整。