很多站长把注意力放在“蜘蛛来没来”，却很少问一句：它来了以后，时间花在哪了。一个站点每天能获得的抓取次数大致是有限的，这个有限的额度就是常说的抓取预算。预算用在哪里，直接决定了新页面多久被发现、老页面多久被回访。
抓取预算不是一个固定数字
没有哪个搜索引擎会公布“你站今天可以抓 500 次”。它是一个动态结果，受站点规模、更新频率、服务器响应速度、历史抓取成功率等因素影响。站点越大、响应越慢，预算被分摊到每个 URL 上的份额就越小。所以讨论抓取预算，重点不是去猜具体数字，而是看这些额度被消耗在了什么地址上。
预算通常消耗在哪几类地址
- 参数组合：筛选、排序、追踪参数把同一个列表拆成几十上百个地址。
- 浅层重复：列表页、标签页、归档页彼此内容高度重合。
- 深分页与无限滚动：翻到很后面的页，对用户价值低，对蜘蛛却是持续的消耗。
- 历史遗留 URL：老目录、老规则生成的地址，仍被内链或旧 sitemap 引用。
- 跳转链条：一次访问经过两三次 301 才到终点，等于一次抓取做了三次请求。
- 大而慢的页面：首字节时间过长，蜘蛛会主动降低对该站的访问强度。
几种常见的预算浪费
第一类是把“所有能生成的地址”都暴露给蜘蛛。比如筛选条件任意组合都返回可访问页面，这些页面既不缺内容也不独特。第二类是内链指向了不该被抓的地址，比如每个页面底部都链向全部历史归档。第三类是 sitemap 里塞了大量低价值 URL，蜘蛛按图索骥，先抓到的可能都是次要页面。
抓取预算是零和的：多抓一个重复地址，就少抓一个真正需要更新的页面。
把预算引到真页面上的做法
- 明确哪些地址模式不该被抓：用 robots.txt 挡掉参数组合、内部搜索、会话 ID，而不是让它们自然被访问到。
- 让重要页面更浅：首页到内容页的点击距离控制在三次以内，减少只能靠深分页到达的页面。
- 精简 sitemap：只放规范 URL 和确实需要发现的页面，保持与站内链接一致。
- 合并重复：能用 canonical 收敛的就收敛，不能收敛又无价值的就考虑 410 或 noindex。
- 修好服务器响应：降低 TTFB，减少 5xx，蜘蛛对稳定快速的站点会给更多回访。
- 减少跳转层数：把链路压缩到一跳，直接指向最终地址。
判断预算是否被浪费的信号
- 日志里大量抓取落在参数页、搜索结果页，而新内容页很少出现。
- 抓取量不低，但新发布的页面进入“已发现未编入索引”的时间明显拉长。
- 同一个 URL 被反复抓取且内容长期没有变化。
- 蜘蛛抓取集中在你并不在意的老目录上。
这些信号出现时，通常不需要什么“提高预算”的技巧，而是把入口收窄、把重复消掉。需要强调的是，抓取预算只影响页面被发现的效率和回访频率，它并不决定页面能不能被收录。内容质量、页面是否可索引、是否满足用户需求，仍然是更前面的门槛。