做蜘蛛池的人常有一个直觉：入口页铺得越多，蜘蛛来的次数就越多，目标页被发现的概率也越大。这个直觉在早期可能有点用，但站点数量一多，问题就会暴露出来——蜘蛛确实来了，却总在入口页打转，目标页的抓取次数并没有同步增长。
原因不复杂：搜索引擎给每个站点分配的抓取资源是有限的。这个资源通常被称为抓取预算。它不是固定值，会随站点权重、更新频率、响应速度、内容质量等因素变化，但一定不是无限的。
抓取预算在站点内部怎么分
蜘蛛来到一个站点后，要在有限的时间和并发里决定先抓哪些 URL。入口页、列表页、目标页、标签页、参数页、历史遗留页，都在争夺同一份预算。如果入口页数量庞大，且内容重复、空薄、状态码混乱，蜘蛛会把大量请求消耗在这些页面上。
结果就是：日志里入口页的抓取记录很热闹，目标页却迟迟等不到蜘蛛。你以为是“蜘蛛不抓目标页”，实际上是预算在入口层就被花掉了。
铺量过度的常见信号
- 入口页抓取次数持续上升，目标页抓取次数长期不变或下降。
- 新生成的目标 URL 发现周期变长，几天甚至更久才被访问一次。
- 蜘蛛反复抓取同一批入口页，回访间隔却没有缩短。
- 日志中大量 404、空页面、重复参数页被反复请求。
- 站点响应变慢后，蜘蛛整体抓取量反而下降。
入口页数量不是唯一变量
入口页的作用是通道，不是终点。蜘蛛顺着入口页的链接走到目标页，这个过程越短、越稳定，预算利用率越高。如果入口页到目标页要经过多层跳转，或者入口页本身需要 JS 渲染才能看到链接，蜘蛛很可能中途放弃。
蜘蛛池的入口页不是越多越好，而是越“顺”越好。顺，指的是路径短、状态稳、内容不重复、链接可抓取。
另一个容易被忽略的点是入口页的质量。同一套模板批量复制，标题、正文、锚文本高度相似，蜘蛛抓过几页之后就会降低对这个目录的抓取兴趣。即使你继续增加入口页数量，新增页面也很难获得额外的抓取配额。
怎么把预算留给目标页
- 控制入口页规模。先小批量测试，观察目标页抓取比例，再决定是否扩大。不要一次性铺几万页入口页。
- 缩短跳转路径。入口页到目标页尽量一跳可达，减少中间层。中间层越多，预算损耗越大。
- 清理低价值页面。长期无抓取、无内容、无链接价值的页面，用 404 或 410 明确处理，不要让蜘蛛反复试探。
- 把重点 URL 主动告诉蜘蛛。sitemap 和推送接口可以用来标注目标页，但不要把所有页面都塞进去，否则等于没有重点。
- 保证响应速度。入口页和目标页的响应时间越短，蜘蛛在相同时间内能抓的页面就越多。超时和错误会直接浪费预算。
- 看日志做调整。统计入口页与目标页的抓取比例。如果入口页占比过高，就减少入口页数量或合并重复页面。
常见误区
第一个误区是把蜘蛛来访次数当成预算充足。来访次数多，不代表目标页被有效抓取。第二个误区是认为入口页越多，目标页收录越快。实际上，入口页过多可能让蜘蛛在低质页面之间循环。第三个误区是只看入口页日志，不看目标页日志，导致判断失真。
更稳妥的做法是：把入口页当作发现目标页的辅助通道，定期评估它的投入产出。入口页带来的目标页抓取增长如果停滞，就应该停下来检查路径、内容和状态码，而不是继续加量。
抓取预算会随着站点表现动态变化。你能做的，是让蜘蛛每次来访都能更高效地走到有价值的页面。入口页铺得再多，如果预算被无效消耗，目标页依然等不到蜘蛛。