搜索引擎能分给一个站点的抓取次数是有限的，这个额度通常被叫做抓取预算（crawl budget）。它不是一个固定数字，而是爬虫在排队、带宽、站点质量和链接权重之间做出的动态取舍。蜘蛛池做的事情，本质上是在有限的预算里，把爬虫的注意力引到你想让它看到的目标页上。

抓取预算在蜘蛛池里被谁花掉了

很多运营者只盯着“目标页被爬了多少次”，但爬虫每次来访都是按页面逐个消费预算的。一个池子里大致有三类页面在分这笔账：

• 入口页：爬虫进入池子的第一站，通常是被外链、sitemap 或历史记录带过来的。
• 中间页：入口页到目标页之间的跳板，包括栏目页、聚合页、分页。
• 目标页：真正希望被发现的落地页。

如果入口页数量很多、每个都要抓一遍，预算会先被入口页吃掉；如果中间页层级太深，爬虫走两跳就停下，目标页同样拿不到几次访问。

一个可落地的分配思路

入口页要“轻”

入口页的作用是被发现，不是被反复读。页面别塞太多内容，也别放大量指向站外的链接，否则爬虫在这里停留的时间变长，能分给后面的次数就少了。入口页的更新频率也不必很高，稳定比频繁更重要。

中间页要“短”

从入口页到目标页，尽量控制在一到两跳。每多一层，爬虫放弃的概率都会上升。常见顺序是：入口页 → 列表页 → 目标页；超过三层时，就要考虑把列表页合并，或者让入口页直接指向目标页。

目标页要“稳”

目标页至少要能被正常打开，返回 200，并且有实际内容。一个经常 503、跳转失败或内容空白的页面，会让爬虫降低对整个站点的抓取意愿，池子里其他页面的预算也会跟着被压缩。

几个常见的误判

• 抓取量涨了就是好事：如果涨的是入口页和无效页，目标页的抓取次数并没有变，那只是预算被浪费了。
• 入口页越多越好：入口页数量超过爬虫的日常抓取能力时，每个页面被访问的间隔会拉长，效果反而变差。
• 目标页只管引、不管接：预算到了目标页却被慢响应或错误状态码挡住，相当于白白放弃一次机会。

抓取预算不是靠堆页面堆出来的，而是靠把有限的访问次数导向更有价值的 URL。

怎么观察预算的去向

看访问日志是最直接的办法。按 URL 分组统计爬虫的访问次数，把入口页、中间页、目标页分开看，就能知道预算大致花在哪里。重点看三个指标：目标页访问次数占总抓取的比例、入口页的平均抓取间隔、目标页的错误状态码比例。

如果目标页的占比长期偏低，可以从两个方向调整：一是减少入口页数量，把外链和 sitemap 集中到少数几个稳定的入口；二是缩短入口页到目标页的路径，去掉没有实际作用的中间层。调整之后观察一到两周，再看日志里的比例有没有变化。

需要提醒的是，抓取预算只影响“爬虫来不来看”，不直接影响收录和排名。页面能不能被收录、能不能排上去，还要看内容质量、站点整体表现和搜索需求本身。把预算分配做好，只是让 URL 发现这一步更顺畅。