很多站点的问题不是蜘蛛不来，而是来了之后把时间花在了不值得的 URL 上。抓取预算就是描述这件事的一个角度：搜索引擎在一段时间内愿意为某个站点投入的抓取资源有限，站点能做的不是把这个上限拔高，而是让有限的抓取落在真正需要被发现的页面上。
抓取预算由什么决定
粗略地说，它由两部分相乘：一是蜘蛛愿意以多快的速度抓，受服务器响应时间、错误率影响；二是站点有多少 URL 值得抓，受内容更新频率和 URL 总量影响。前者是站点能直接影响的部分，后者则经常被自己制造的冗余撑大。
所以讨论抓取预算，重点不在“怎么让蜘蛛多抓”，而在“怎么少制造无效抓取”。
常见的无效抓取消耗
同一内容的多套 URL
带追踪参数、排序参数、会话 ID、大小写混用、末尾斜杠不统一，都会让同一篇内容以多个 URL 出现。如果没有 canonical 收口，蜘蛛可能每个变体都抓一遍，抓取量被拆成几份，而索引里往往只留一份。
软 404 与空结果页
筛选条件组合出大量没有结果的列表页，页面返回 200 但正文空洞。蜘蛛会把它当作正常页面继续抓，下一次更新时再来确认一次。这类页面的数量往往随时间增长，是抓取预算里比较容易被忽视的漏洞。
无限滚动与分页叠加
列表页既做无限滚动又保留分页链接时，需要明确哪一套是给蜘蛛的路径。否则蜘蛛可能顺着分页一路翻到底，抓到的是同一批条目的重复视图。
把抓取留给值得的 URL
- 内链集中指向 canonical 版本，避免同一内容在导航、标签、推荐位里出现多个入口。
- Sitemap 只放需要被发现的规范 URL，不要把参数变体都塞进去。
- 状态码要明确：不存在的页面给 404 或 410，不要用 200 加一句“暂无内容”。
- 筛选、排序类页面用 robots 规则或链接属性控制，别让它们和正文页抢抓取。
- 低价值但必须存在的页面，比如登录、帮助，可以降低其在站内链接里的曝光。
服务器状态会改变抓取节奏
响应时间变长、5xx 比例上升时，蜘蛛通常会主动降频，抓取预算随之缩水。稳定的响应时间和明确的状态码，比任何加速抓取的技巧都更实际。如果站点在抓取高峰期出现超时，不妨先看日志里 5xx 与超时的分布，再决定是否需要限流或加缓存。
一个可执行的检查顺序
- 从日志里统计被抓取最多的 URL 模板，看它们是不是真正需要被抓的页面。
- 统计返回 200 但内容为空的页面数量，评估软 404 的规模。
- 检查 canonical 与内链是否指向同一版本，确认参数页没有独立入口。
- 核对 Sitemap 中的 URL 数量与站内实际可抓 URL 数量的差距。
- 观察服务器响应时间与 5xx 比例，确认降频是否由稳定性引起。
抓取预算不是一个可以随意调大的开关，它更像一份被动的反馈：站点越干净，蜘蛛越容易把时间花在有用的页面上。
把无效 URL 收掉、把状态码讲清楚、把内链集中到规范地址上，这三件事做完，往往会发现抓取分布比之前更接近预期。这个过程需要看日志验证，而不是靠猜测。