蜘蛛每天来多少次，不是我们能直接决定的，但站点上哪些地址值得它花时间，很大程度上可以引导。抓取配额（也有人叫抓取预算）说的就是这件事：搜索引擎分配给一个站点的抓取资源是有限的，站点越大、更新越频繁，这个矛盾越明显。
抓取配额到底指什么
它大致分两层。一是站点层面，搜索引擎根据站点规模、更新频率、响应速度，决定每天派多少蜘蛛、爬多少地址。二是页面层面，同一批抓取资源分给谁。当站点有几十万个地址，而蜘蛛每天只愿意抓几千个时，选谁就变得重要了。
配额不是固定值，会随站点质量、稳定性和内容更新情况浮动。所以真正要做的不是“抢配额”，而是减少浪费，让有限的名额落在有价值的页面上。
先判断：你的站是不是真的缺抓取
不是所有站都需要操心这件事。内容量在几百页以内、更新节奏平稳的小站，通常没必要做特别优化。可以从服务器日志里找几个信号：
- 重要栏目的新页面，从发布到被首次抓取的时间是否明显变长；
- 蜘蛛每天抓取的地址里，参数页、筛选页这类重复入口占多大比例；
- 是否同一批地址被反复抓取，而另一些地址长期没人访问；
- 抓取请求的响应状态里，5xx、超时、多级跳转是否占比偏高。
如果这几个信号里有两三条同时成立，才值得动手整理。否则容易把精力花在收益很小的地方。
配额通常浪费在哪里
参数与筛选组合
排序、筛选、分页参数一旦可以自由组合，一个栏目就能裂出成百上千个可抓地址。这些地址内容高度相似，蜘蛛抓完也带不走多少新东西，却占用了大量名额。常见的处理方式是限制参数组合的暴露，只保留有价值的排序维度，其余用 robots.txt 或页面上的 nofollow 收口。
低价值的模板页
标签云、作者页、日期归档、空栏目、站内搜索结果页，这类页面数量往往远超正文页。它们不是完全没用，但如果大量存在又没有实质内容，就会持续消耗抓取资源。
跳转链与失效地址
一次跳转就是一次额外请求。站内如果还有多级跳转、循环跳转，或者大量地址返回 404、302，蜘蛛就会把时间花在这些死路上。定期清理跳转链，比事后补救更省事。
把访问留给重要页面的几个做法
- 明确哪些页面是重点。把首页、主要栏目页、近期更新的内容页列出来，其余都算次要。
- 让入口清晰。重点页面从首页出发的点击深度尽量控制在三层以内，别只能靠站内搜索找到。
- 用站点地图标注重点。sitemap 只放需要被收录的规范地址，别把上千个参数页一起塞进去。
- 减少重复入口。同一篇内容只保留一个规范 URL，其余通过 301 或 canonical 收口。
- 保证响应稳定。抓取时段内不要出现长时间超时或 5xx，否则蜘蛛会主动降低抓取频率。
- 把更新集中在已有页面。与其不断新建薄内容页，不如把已有页面补充完整。
几个容易踩的坑
有人为了“省配额”，干脆把大批目录直接屏蔽。这么做短期内抓取量确实下降，但被屏蔽的页面也失去了被收录的机会，之后想恢复并不容易。
屏蔽是最后手段，不是常规操作。能用链接结构和规范标签解决的问题，尽量不要用 robots.txt。
另一个常见做法是频繁改动站点结构。每次调整都会让蜘蛛重新认识站点，短期内抓取效率反而下降。结构稳定本身就是一种优化。
一个简单的自查节奏
不必每天盯着日志。可以每月看一次：新增页面被首次抓取的平均时间、蜘蛛抓取的地址类型分布、异常状态码占比。三个数字有恶化趋势时再深入排查，平时把内容更新和结构稳定做好就够了。