站点 URL 数量上到几万、几十万之后，很多人会发现：蜘蛛每天来的次数不少，但落在自己关心的页面上却没几个。这个时候谈“抓取配额”比较贴切——它不是搜索引擎给你的一个固定数字，而是爬虫在有限资源下对整站做出的时间与请求分配。理解它的分配逻辑，比盯着某一天的抓取总量更有用。
抓取配额受什么影响
- 站点规模与历史抓取回报：长期返回有效内容、结构稳定的站点，通常能拿到更稳定的抓取频率。
- 响应速度与错误率：5xx、超时、体积过大的响应，都会让一次抓取白白浪费。
- 页面更新频率：经常更新的栏目会被更频繁地回访，一年不动的内容页回访间隔会拉长。
- URL 的重复程度：同一个页面存在多个可访问地址，等于每次抓取都在重复取同一份内容。
哪些 URL 在悄悄消耗配额
多数被浪费的抓取集中在自动生成、对收录没有帮助的路径上。
- 站内搜索结果页，以及排序、筛选参数组合出来的地址。
- 同一内容的多个版本：大小写混用、带与不带结尾斜杠、http 与 https 并存、www 与非 www 并存。
- 日历、标签、作者归档这类没有独到内容的聚合页。
- 分页翻到很深的列表页，后面几页往往只剩少量条目。
优先照顾哪几类页面
有收录价值的页面
判断标准很朴素：这个页面是否有独立主题、稳定 URL、被人从站内点进来的路径。满足这几点的页面，值得把配额留出来。
新发布且需要被发现的页面
新页面如果没有任何内链指向，只能靠站点地图或外链被发现，抓取优先级通常排在后面。发布时顺手在相关的老页面里加一条链接，成本很低，效果比反复提交更稳。
站点的入口类页面
频道页、分类页承担着向下传递抓取的作用。它们如果本身没有被稳定抓取，下面几层的页面也就很难被及时回访。
减少无效消耗的几种做法
- 先做 URL 规范：确定每个页面唯一可访问的地址，其余版本用重定向指向它。
- 把不需要收录的路径从发现入口里拿掉，而不是只靠 noindex 拦。已经进入抓取队列的 URL，noindex 只能阻止它进索引，抓取请求本身照样发生。
- 站点地图只放需要收录的 URL，不要把筛选页、搜索结果页全塞进去。
- 控制响应时间，避免大体积、无必要的资源拖慢整站。
- 在重要的老页面里补内链，让爬虫顺着链接走到新内容。
抓取配额没有一个可以精确查询的数值，只能从日志和后台统计里看趋势：某个目录的抓取占比是否合理，重要页面的回访间隔有没有缩短。
怎么判断调整有没有效果
建议按目录或页面类型分组看抓取数据，而不是只看整站总量。整站抓取量上涨，可能只是垃圾 URL 被多抓了几次；反过来，总量不变但内容页占比提高，才是更有意义的信号。同时对照索引状态：抓取次数增加却始终进不了索引的页面，问题多半在页面质量或重复度上，继续加抓取也解决不了。
把抓取当成分给全站的有限资源来安排，先收拾重复 URL，再把入口页和新增内容排在前面，通常是见效比较快的一条路径。