不少做站点运营的人会碰到一个阶段性现象：入口页从几十个扩到几百上千个，日志里的抓取量却没有同比上涨，甚至单个入口页被访问的次数还下降了。这通常不是搜索引擎的临时波动，而是抓取配额（crawl budget）在起作用。
抓取配额不是一个固定数字
搜索引擎给每个站点分配的抓取资源是动态计算的：一边是站点能承受多少并发，一边是搜索引擎判断这里有多少值得抓的东西。入口页变多，并不意味着配额会自动变大。如果新增的入口页内容高度雷同、链接指向重复，整体抓取效率反而会被拉低。
更影响配额分配的几件事
- 响应稳定性和速度：5xx、超时、连接被重置的比例升高时，爬虫会主动降速。
- 内容重复度：上千个入口页只有模板不同、链接列表几乎一样，容易被当成低价值页面。
- URL 重复与参数噪音：大小写、尾斜杠、跟踪参数造成同一地址多个版本，等于把配额摊薄。
- 历史抓取产出：长期抓下来发现的新 URL 很少，配额自然会收缩。
入口页变多时，实际会被怎么分配
在配额有限的前提下，爬虫的取舍通常遵循几个朴素原则：
- 优先访问历史表现好、更新较频繁的那批入口页。
- 新加入的入口页进入较长的发现队列，可能几天到几周才被第一次访问。
- 同质化严重的新入口页，可能长期只被抽查式访问。
所以你会看到老入口页照常被抓，新入口页迟迟不来——这不一定是入口页本身写错了。
怎么判断是配额问题还是别的问题
- 看日志里单个入口页的平均抓取间隔，是变长了还是基本不变。
- 看 200 响应的占比和平均响应时间，是否明显劣化。
- 看新入口页首次被抓的时间中位数，是否比老入口页明显靠后。
- 确认目标 URL 是否本来就被 robots.txt 屏蔽、需要登录、或被 5xx 拦住，这些和配额无关。
扩容时的几个实用做法
- 先保证少量入口页的抓取质量，再逐步加量，不要一次性翻十倍。
- 入口页之间做去重，链接列表不要完全一致，减少纯模板页。
- 把 5xx 和超时压下来，比多挂几百个入口页更有效。
- 用 sitemap 或站点内链给重要目标 URL 做第二入口，别只依赖入口页。
- 统一 URL 形式，减少参数和大小写带来的重复地址。
抓取配额是长期观察的结果，不是可以随手打开的开关。单次操作很难立刻改变它，稳定和去重才是慢变量。
常见误区
- 以为入口页数量翻倍，抓取量就会翻倍。
- 以为被蜘蛛抓过就一定会收录，抓取和收录是两件事。
- 只盯着入口页数量，忽略了目标 URL 本身是否可抓、是否重复、是否有内容价值。
小结：扩容前先看日志里的响应质量与重复情况，扩容后重点观察单页抓取间隔和首次抓取时间。如果这两项明显变差，先做减法——去重、修错、提速，再考虑继续加量。