站点做久了，服务器日志里常会出现一种落差：有些目录被反复抓，有些页面提交很久也没动静。这通常不是蜘蛛漏了，而是抓取预算在分配。
抓取预算大概是什么
可以把它理解为：搜索引擎在一定时间内，愿意花在某个站点上的抓取次数和抓取深度。它不是一个公布的数字，也没有开关，而是由几个现实条件一起决定的——站点的页面规模、更新频率、服务器响应速度、抓取错误的比例，以及蜘蛛上一次来访时的体验。
所以同一个站点，预算会变。响应变慢、错误变多，预算会收缩；更新规律、响应稳定，预算会慢慢放开。
三块内容在争同一份预算
新页面
新页面最需要被抓，但蜘蛛并不知道它值不值得。能做的：让新页面在发布时就有一条可点击的路径（栏目页、相关推荐、列表页），同时出现在 Sitemap 或主动提交接口里。多条路同时存在，比只依赖一条更稳。
老页面
老页面如果内容没变却被反复抓，多半是蜘蛛没判断出它已经稳定。常见原因是页面上有持续变化的东西——时间戳、随机推荐、评论数、库存数字。这些变化会让蜘蛛每次都觉得有更新，于是又抓一次，但抓到的正文其实一样。把这类波动收一收，省下的抓取次数会流向真正在更新的页面。
低频目录
分页、标签、筛选组合、排序参数，这类页面数量大、单页价值低。它们不一定有害，但如果入口太多，会占走不小比例的抓取次数。处理方向是减少内链入口，把有限的链接位置留给主要页面；对确实不需要被抓的组合，用 robots.txt 或规范链接去收敛，而不是指望蜘蛛自己判断。
更新节奏也会影响倾斜方向
稳定按节奏更新的栏目，容易形成这里常变的印象，抓取次数会向它倾斜；长期不更新的目录，抓取频率会自然下降，这属于正常现象。反过来，如果一个栏目只有页脚时间戳在变，蜘蛛来过几次发现正文没动，对整站的更新判断都会变谨慎，连真正更新的页面也可能被拖慢。
几个常见的误判
- 以为提交了就会优先抓。提交只解决知道有这条 URL，不解决先抓哪一条。
- 以为 noindex 等于不抓。noindex 是告诉蜘蛛别收录，蜘蛛仍可能来抓一次做确认。
- 以为减少页面总数就能提高抓取。预算不是按页面总数平均分的，改变的是优先级和错误率。
怎么检查分配是否合理
- 按目录统计日志中的抓取次数，对比该目录里真正希望被收录的页面数量。
- 看抓取返回的状态码分布。5xx 和超时占比高时，先修服务端，其他调整效果都有限。
- 看响应时间，尤其是列表页和详情页的较慢那一档耗时。
- 看新页面从发布到第一次被抓的间隔，长期偏长说明入口或更新信号有问题。
调整顺序
一般建议先动阻碍——服务器响应、错误页、过长的重定向；再动信号——Sitemap 的更新时间和准确性、内链入口；最后才动取舍，也就是哪些目录少给入口、哪些参数组合直接封掉。顺序反了，前面修好的收益容易被后面的问题吃掉。
抓取预算不是用来争取更多的指标，而是用来判断：蜘蛛的时间，花在了你希望它花的地方吗。