蜘蛛池的运行可以粗略分成三层：入口页资源、目标 URL 池，以及把两者连起来的调度层。入口页决定蜘蛛愿不愿意来、来多勤；目标 URL 池决定有哪些页面想被看到；调度层决定每次投放放出去多少、什么时候放、失败了怎么办。这一层最容易被忽略，但出问题时表现最明显：蜘蛛来了却集中在少数几个入口页，或者同一批 URL 反复被抓、其余长期没人碰。

为什么一次性全量投放容易失控

把几百上千个 URL 一次性写进入口页，短期看蜘蛛请求会涨，但后面通常会出现三种情况：一是指纹过于集中，蜘蛛抓几个页面就摸清了整站模式，抓取频率反而被压下来；二是入口页服务器在同一时间段承受大量连接，响应变慢甚至超时，蜘蛛会主动降低访问；三是没有办法区分哪些 URL 已经抓过、哪些还没抓，后续想调整只能整体重来。调度层的意义就是把一次性的动作拆成持续的、可观察的过程。

把 URL 拆成几个队列

不一定要真的写代码，但心里要有优先级划分：

• 新 URL 队列：从未投放过的目标页面，通常优先级最高，适合分散到多个入口页，每次只增加一小批。
• 更新队列：内容有实质变化的老页面。这类 URL 已有抓取历史，回访往往比全新 URL 更快，可以用较低的投放频率维持。
• 重试队列：上次抓取失败或状态不正常的 URL，包括超时、5xx、跳转异常等。重试要有上限，同一个 URL 连续失败多次后应停下来找原因，而不是无脑补投。
• 暂停队列：目标页已下线、已改版或暂时不需要被抓的 URL，先移出去，避免占用入口页的链接位置。

并发控制看哪些信号

并发不是越大越好，判断依据主要来自两端：

• 入口页侧：服务器 CPU、带宽、平均响应时间。如果响应时间随投放量明显上升，说明已经接近上限，应该先稳一稳再加。
• 蜘蛛侧：日志里单位时间的蜘蛛请求数、状态码分布、平均抓取间隔。请求数上升但 5xx 或超时同步上升，通常不是好消息。
• 目标站侧：如果蜘蛛顺着入口页爬到目标站，目标站的负载也要看一眼，别把对方服务器拖慢。

比较稳妥的做法是设定一个初始并发，观察一到两周后再小幅调整，每次只改一个变量。

重试与退避

失败是常态，关键是区分类型。连接被拒、超时这类问题适合隔一段时间重试；404、410 这类明确的不可用状态则不必反复尝试；被 robots 限制的 URL 更应该直接从队列里剔除。重试间隔建议逐步拉长，同一 URL 的重试次数设一个明确上限，超过就转入人工排查列表。

调度层值得记录的指标

• 每个入口页、每个时间段的蜘蛛请求数；
• 投放 URL 总数、已抓取数、待抓取数；
• 重试次数与重试后成功的比例；
• 目标 URL 的状态码分布变化。

这些数据不需要很精细，但要能回答两个问题：投放量变了之后蜘蛛行为有没有跟着变；哪一类 URL 长期得不到抓取。

几个常见误区

• 把投放量等同于抓取量。投得多不等于抓得多，入口页本身的抓取频率才是上限。
• 所有 URL 同等对待。首页、栏目页、内容页、标签页的抓取价值不同，队列不区分就会把预算浪费在低价值页面上。
• 只盯蜘蛛数，不看目标站。蜘蛛来访只是过程，最终要看目标 URL 是否被正常抓取、是否进入索引。
• 失败就加倍重投。同一批 URL 短时间内反复出现，容易让入口页看起来异常，反而降低抓取意愿。

调度层的作用是让投放变得可控、可观察，而不是用来保证结果。蜘蛛抓不抓、抓多深，最终仍由入口页质量、链接结构和目标站自身决定。