蜘蛛分给每个站点的抓取资源是有限的。同一时间它要处理大量站点，能给某个入口页的抓取次数、单次带走的页数、每次停留的时间，都受到额度约束。蜘蛛池做得有没有意义，很大程度上看这点额度有没有花在有效路径上，而不是看入口页铺了多少个。

抓取预算由哪几部分构成

通常可以拆成三层来理解：

• 抓取速率：同一时间蜘蛛愿意对某个站点发多少个请求。它取决于服务器响应速度、错误率和历史抓取表现。
• 抓取频次：蜘蛛隔多久回来看一次。它更看重内容更新信号和页面重要性，而不是入口页的数量。
• 抓取深度：一次访问里，蜘蛛愿意沿着链接往下走几层。层数越多，底层页面分到的份额越少。

三者互相牵制。响应慢会压低速率，速率低又限制了深度；入口页太多而彼此没有主次，频次就会被摊薄。

哪些设置会白白消耗额度

• 多重跳转链。入口页到目标页经过三四个跳转，蜘蛛每跳一次都要重新排队，实际到达目标页的概率下降。
• 链接依赖 JS 渲染。首屏 HTML 里没有可抓链接，蜘蛛需要额外渲染资源，成本更高，也更容易提前退出。
• 参数化 URL 无限生成。带筛选、排序、会话参数的链接被大量输出，蜘蛛会把这些当成新页面反复抓取。
• 体积过大的页面和阻塞资源。图片、字体、第三方脚本拖慢首字节，速率限制往往先被触发。
• 入口页只有外链、没有内链结构。蜘蛛爬到这一页就走到了尽头，额度花完却什么也没带走。

入口层、中转层、目标页怎么分配

按层分配比平均撒开更有效，也更容易观察。

入口层：控制数量，保证可达

入口页的职责是被找到、把链接往下传。数量不必堆到极限，页面越少，单页能分到的抓取频次越多。入口页首屏应有稳定的文字链接指向中转层，链接数量控制在几十个以内，避免一页几百条链接把注意力摊平。

中转层：压缩跳数

从入口页到目标页，跳数越长，中途丢失的概率越高，一般两跳以内比较稳妥。中转层页面不需要复杂设计，但要有清晰的链接分组，让蜘蛛一次能带走一批目标 URL。

目标层：只放值得抓的 URL

目标 URL 要排优先级。最需要被发现的一批放在更容易到达的位置，其余分批轮换。不要把目标站所有页面一次性平铺，蜘蛛抓不完，剩下的自然被跳过。

看什么指标判断预算是否用对了

• 抓取日志里入口页与目标页的请求比例。若入口页反复被抓、目标页很少出现，说明路径有问题。
• 单次访问的页面数分布。长期集中在 1 到 2 页，通常意味着链接结构或响应速度拖了后腿。
• 状态码构成。大量 3xx、5xx 会降低蜘蛛对该站点的抓取意愿。
• 回访间隔。稳定回访比偶发的高峰更有参考价值。

发现异常时，优先改路径和响应速度，而不是继续加入口页。加更多页面只是把同样的额度切得更碎。

抓取预算能优化的是蜘蛛愿不愿意来、来了能走多远，它不决定页面是否被收录，更不决定排名。把它当成整条链路上的前置环节来看待，预期会更接近实际。