站点规模一大，运营常会遇到一种错觉：内容发得越多，收录应该越快。实际情况往往相反——新页面迟迟不被抓取，旧页面反而被反复访问。这背后多半是抓取预算在起作用。
抓取预算由什么决定
抓取预算可以粗略理解为搜索引擎愿意花在一个站点上的抓取资源。它不是一个固定配额，而是由站点体量、更新频率、服务器响应能力、页面质量共同影响的结果。通常有两层含义：一是抓取速率上限，受服务器承载能力约束；二是抓取需求，取决于站内有多少值得抓的 URL。
两者之间是动态平衡的。站点响应快、内容变化多，蜘蛛愿意来的次数就多；响应慢、URL 大量重复或低价值，抓取就会被压缩。
先确认是否真的缺抓取
不是所有“新页面收录慢”都是抓取预算问题。先做几项基本判断：
- 服务器日志里，蜘蛛对重要栏目的访问频次是否明显低于对参数页、标签页的访问；
- 新发布页面的首次抓取时间是否从几小时变成了几天甚至更久；
- 站点是否在短期内新增了大量结构相似的页面，比如筛选结果、空结果页、重复列表；
- 页面响应时间是否在高峰段明显变长，出现 5xx 或超时。
如果这几项都指向“抓取量大但产出低”，才值得进入优化流程。
常见的抓取浪费
- 参数组合泛滥：筛选、排序、分页参数自由拼接，同一批内容生成大量 URL。
- 重复内容：同一篇文章挂在多个栏目下，各自有独立 URL 且没有规范化处理。
- 空结果与薄页面：站内搜索页、无内容的标签页被内链大量暴露。
- 重定向链：一次跳转变多次跳转，蜘蛛每多走一步就多消耗一次请求。
- 资源拖慢渲染：大图、同步脚本阻塞，蜘蛛等待渲染的时间被浪费。
把抓取引到重要页面
- 收敛 URL：对参数页做规则限制或规范化，让同一内容只有一个可抓地址。
- 控制内链曝光：导航、面包屑、页脚这些全局链接，优先指向栏目和核心页面，而不是最新的低价值页。
- 用站点地图补充：把真正希望被抓的页面放进 XML 站点地图，保持更新，并只放规范 URL。
- 提升响应速度：压缩图片、启用缓存、减少首屏阻塞资源，让单次抓取更高效。
- 定期清理：已下线内容做 301、410 处理，避免长期留在可抓状态。
几个容易做过头的地方
抓取预算的调整是减法优先的活。有些做法看起来有效，实际收益有限，甚至会带来副作用。
把大量页面直接屏蔽抓取，短期日志会好看，但被屏蔽的页面如果仍有外链或搜索需求，可能造成流量流失。屏蔽之前先确认这些页面是否真的没有价值。
- 频繁调整 robots.txt 会让人工排查变得困难，改动应记录时间点。
- 为了“省抓取”而减少内链，可能让页面变成孤儿，反而更慢被发现。
- 站点规模不大时，抓取预算往往不是瓶颈，优先解决内容质量和结构问题。
观察与迭代
做完调整后，用两个月左右的日志对比：重要栏目的抓取频次是否上升，新页面的首次抓取时间是否缩短，重复 URL 的抓取占比是否下降。抓取预算没有一劳永逸的方案，它跟着站点结构、内容节奏和服务器状态一起变化，定期复盘比一次性大改更实用。