抓取预算（crawl budget）经常被说得很玄，拆开来看其实就是两件事：搜索引擎一天愿意在你的站点上花多少抓取次数，以及这些次数被分到了哪些 URL。前者受站点规模、更新频率和服务器响应影响，后者基本是你自己能控制的。中小站点通常不必焦虑总量，真正该关心的是分配。
抓取预算由两部分组成
常见的拆法是把它分成“抓取速率上限”和“抓取需求”：
- 抓取速率上限：由搜索引擎根据服务器承载能力决定，响应慢、超时多，上限就会被压低。
- 抓取需求：你希望被重新抓取的 URL 数量与更新频率。URL 越多、更新越频繁，需求越大。
当需求长期大于上限，才会出现新页面等很久才被抓、老页面改了也不更新的现象。这才是需要动手的信号。
什么情况下才值得动手
先判断自己是否真的处于预算紧张状态，避免把小问题当成大问题：
- 站点 URL 总量在几千以内、内容更新不频繁，通常没有预算问题。
- 筛选参数、排序方式、日历页、站内搜索结果产生了大量可抓取 URL，这是最常见的诱因。
- 服务器响应偏慢，日志里能看到成片的 5xx 或超时，上限是被自己压低的。
- 新发布的页面两三周仍未见抓取，需要看抓取分布，而不只是看总量。
三个可以自己算出来的数字
- 每日抓取总量：在日志里按爬虫 UA 统计，看一周的平均值，而不是盯着某一天的峰值。
- 抓取落在有效页面上的比例：把抓取次数按目录归类，标出哪些是内容页、哪些是列表和参数页。比例失衡就说明预算被浪费。
- 平均响应时间：同一目录下的响应差异很大时，先优化最慢的那部分，速率上限往往会自然回升。
服务器响应为什么会直接影响上限
抓取速率不是搜索引擎单方面“给”的，而是双方协商出来的结果。响应时间从 200 毫秒涨到 2 秒，意味着同样的抓取窗口内能完成的请求数少了一个量级。所以优化抓取预算时，先看服务器，再看 URL 结构，最后才看内容更新，顺序反了容易做无用功。
分配顺序：先砍浪费，再谈提速
最有效的动作通常是减法，而不是想办法让蜘蛛来得更勤：
- 把没有独立检索价值的参数组合、排序方式，用 robots.txt 规则或规范标签收口。
- 站内搜索结果页、按日期归档的薄列表页，评估是否真的需要被索引。
- 死链、重定向链、软 404 清一遍，减少无效抓取。
- 确认重要目录的入口层级没有过深，让抓取能顺着链接自然走到。
- 最后才考虑更新频率、站点地图准确性这类“加法”。
如果日志里某个目录被反复抓取却从不带来流量，优先怀疑它是不是被当成了入口页在扩散。抓取次数本身不是成绩，落到有价值的 URL 上才是。
几个常见误区
- 把收录量当预算指标：收录是结果，抓取是过程，两者变化节奏并不一致。
- 靠频繁改动换抓取：没有实质新内容的反复修改，只会消耗抓取次数。
- 只盯蜘蛛总量：总量下降但有效页面占比上升，往往说明方向对了。
一套可复用的检查顺序
每隔一两个月做一次就够：导出日志按目录汇总抓取次数，对照各目录的实际价值，找出被抓得多但没有价值的目录，再用 robots.txt、规范标签或入口调整收口，然后观察两周后的分布变化。判断标准始终是“抓取有没有落到该落的地方”，而不是总次数有没有变多。