站点做久了，容易有一种错觉：只要页面发出去，蜘蛛迟早会来。实际情况是，搜索引擎给每个站点分配的抓取资源是有限的，站点越大、地址越多，这份额度就越显得不够用。所谓抓取预算，说的就是这件事——在单位时间里，蜘蛛愿意在你的站上花多少次请求。
预算不够的直接表现是：新发的文章迟迟不被抓，重要栏目页的快照几个月没动静，而一些没价值的地址却被反复访问。要改善它，思路不是催，而是先减少浪费，再把入口指清楚。
谁在消耗你的抓取预算
先把常见的浪费点列出来，对照自己的日志看有没有中招：
- 参数地址：排序、筛选、追踪参数会为同一篇内容生成几十个地址。
- 站内搜索结果页：用户搜索词无穷无尽，蜘蛛顺着抓下去就是无底洞。
- 过深的分页：列表页翻到很后面，内容价值和抓取价值都很低。
- 重复与近似内容：同一篇文章挂在多个栏目下，没有做规范化处理。
- 软 404 和空列表：返回 200 却没有实质内容，蜘蛛来了白跑一趟。
- 慢响应与 5xx：响应时间一长，蜘蛛会主动降低访问频率。
从服务器日志看抓取分布
不要凭感觉判断，日志里其实写得很清楚。可以按下面的顺序看：
- 筛出蜘蛛的 UA，按天统计总请求数，看是否有明显波动。
- 按目录分组，看请求集中在哪些栏目，重点栏目占了多少比例。
- 按响应码分组，统计 3xx、4xx、5xx 的占比，跳转和错误多不多。
- 按 URL 模式分组，找出被访问次数最高的一批地址，通常落在参数页或列表页上。
- 挑几条高频低价值地址，回溯它是从哪个入口被发现的，把那个入口处理掉。
做完这一步，你大致能回答一个问题：如果这段时间只能给一千次抓取，我现在把多少次花在了几乎没有产出的页面上。
把抓取引向重点栏目
减少浪费之后，还要主动告诉蜘蛛哪些页面更值得花时间：
- 内链倾斜：重点栏目和重点文章，从首页、栏目页、相关文章里多给几条链接，链接出现的位置往往比数量更重要。
- 导航清晰：主导航和分类页把主干结构固定下来，别让重要入口只藏在某个深层页面里。
- 站点地图只放值得抓的：sitemap 是提示，不是保证。把低价值地址塞进去，反而稀释了信号。
- 控制入口数量：列表页分页、标签页、聚合页都设一个合理上限，不要无限展开。
- 保持响应稳定：服务器快一点、少一点 5xx，蜘蛛自然愿意多来几趟。
几个常见的误区
用 robots.txt 屏蔽重要页面，以为这样能集中抓取，结果是把该被抓的挡在门外；频繁改动站点地图和提交入口，以为能催快收录，实际上只会让抓取队列反复调整。
还有两种也值得注意：一是把希望寄托在多发布上，页面数量翻倍但质量没变，预算只会更稀释；二是看到蜘蛛来得少就急着换域名，却忽略了日志里早就有答案。
把它变成固定动作
抓取预算不是一次性的优化项，而是需要定期回顾的运营指标。建议每月做一次：统计各目录被抓的次数，清理一批低价值地址，检查重点栏目的抓取占比有没有上升。数据不用很精细，能看出趋势就够了。
判断标准也很朴素：当新内容被发现的时间变短、重点栏目的抓取占比提高、错误地址的请求下降，说明方向是对的。至于具体多久被收录、排在什么位置，那是另一回事，不在这一步的讨论范围内。