抓取配额不是平均分给每个 URL 的
搜索引擎愿意在一个站点上花多少抓取资源，通常由一个综合判断决定：站点有多少 URL、更新是否规律、服务器响应快不快、内容是否稳定。这个判断结果常被叫做抓取配额或抓取预算，它不是一个公开的固定数字，也不会平均分摊到每个地址上。
对蜘蛛池这种以“入口页带出目标 URL”为主的场景来说，配额的意义更直接：搜索蜘蛛每天能抓的次数就那么多，入口页多抓几次，目标 URL 就少抓几次。所以真正该关心的不是“怎么让蜘蛛抓得更多”，而是怎么让有限的抓取次数花在更值得的地方。
入口页和目标 URL 的角色不一样
入口页承担的是“被发现”的职责：蜘蛛抓一次入口页，解析出里面的链接，把新的目标 URL 放进待抓列表。目标 URL 承担的是“被处理”的职责：只有真正被抓取回来，才有机会进入后续流程。
两者消耗的是同一份配额，但收益不同。入口页的价值取决于它能不能持续输出有效链接；如果入口页内容长期不更新、链接结构也没变化，蜘蛛重复抓取的收益会明显下降。反过来，目标 URL 如果长期返回错误、内容单薄或需要登录才能看到，抓回来也是浪费。
一个相对务实的分配思路
- 先保证入口页可稳定抓取。入口页响应慢、经常超时、频繁返回 5xx，蜘蛛的抓取节奏会整体变慢，目标 URL 的发现也会被拖住。
- 入口页数量不要无限扩张。与其铺很多内容接近的入口页，不如保留一批更新规律、链接有效的入口页，让它们反复被回访。
- 把目标 URL 的可抓取性做扎实。返回 200、内容可读、没有登录墙，这些是基本前提；否则被发现了也抓不出结果。
- 定期收敛没有产出的入口页。如果某个入口页持续被抓，但对应的目标 URL 长期没有抓取记录，就要考虑它是不是在做无用功。
几个容易踩的误区
- “入口页铺得越多，抓取就越多”。配额不会因为入口页变多而线性增长，反而可能被大量低价值页面稀释。
- “提交了就一定会抓”。主动推送、站点地图只是提示线索，最终抓不抓、什么时候抓，仍要看站点的整体抓取表现。
- “一个入口页塞几百条链接更划算”。链接数量本身不产生抓取，蜘蛛是否顺着链接走，取决于它对页面的信任程度和当前抓取节奏。
- “目标 URL 有 200 状态码就够了”。状态码只是入场券，空壳页、纯跳转页、内容重复页即使被抓，后续处理也容易停在原地。
怎么观察配额是否被浪费
比较实用的做法是把服务器日志里的蜘蛛抓取记录按 URL 类型分开统计：入口页被抓了多少次、目标 URL 被抓了多少次、各自返回什么状态码、响应时间大概是多少。连续观察一两周，通常能看出趋势。
如果入口页的抓取次数远高于目标 URL，而且目标 URL 的抓取量长期上不去，可以从三个方向检查：入口页是否太多太杂、目标 URL 是否存在可抓取性问题、服务器整体响应是否拖慢了节奏。
抓取配额是个慢变量。它的变化往往按周甚至按月体现，用一两天日志下结论很容易误判。调整之后，至少观察一个完整周期再做判断。
小结
入口页和目标 URL 争的是同一份抓取资源。与其追求数量上的扩张，不如把入口页做得稳定、把目标 URL 做得可抓取，再用日志持续观察两者的抓取比例。分配是否合理，最终会体现在目标 URL 能不能被稳定处理上，而不是体现在某一天的抓取次数上。