蜘蛛池的執行可以粗略分成三层：入口頁资源、目标 URL 池，以及把两者连起来的調度层。入口頁决定蜘蛛愿不愿意来、来多勤；目标 URL 池决定有哪些頁面想被看到；調度层决定每次投放放出去多少、什么时候放、失敗了怎么办。這一层最容易被忽略，但出問题时表現最明顯：蜘蛛来了却集中在少數几個入口頁，或者同一批 URL 反复被抓、其余長期没人碰。

為什么一次性全量投放容易失控

把几百上千個 URL 一次性寫進入口頁，短期看蜘蛛請求會涨，但後面通常會出現三種情况：一是指纹過于集中，蜘蛛抓几個頁面就摸清了整站模式，抓取频率反而被压下来；二是入口頁服務器在同一時間段承受大量连接，响應變慢甚至超时，蜘蛛會主動降低訪問；三是没有办法区分哪些 URL 已经抓過、哪些還没抓，後續想調整只能整体重来。調度层的意义就是把一次性的動作拆成持續的、可观察的過程。

把 URL 拆成几個队列

不一定要真的寫代碼，但心里要有優先級划分：

• 新 URL 队列：從未投放過的目标頁面，通常優先級最高，适合分散到多個入口頁，每次只增加一小批。
• 更新队列：内容有實质變化的老頁面。這類 URL 已有抓取歷史，回訪往往比全新 URL 更快，可以用較低的投放频率维持。
• 重试队列：上次抓取失敗或狀態不正常的 URL，包括超时、5xx、跳轉異常等。重试要有上限，同一個 URL 连續失敗多次後應停下来找原因，而不是無脑补投。
• 暫停队列：目标頁已下线、已改版或暂时不需要被抓的 URL，先移出去，避免占用入口頁的連結位置。

並發控制看哪些信号

並發不是越大越好，判断依據主要来自两端：

• 入口頁侧：服務器 CPU、带宽、平均响應時間。如果响應時間随投放量明顯上升，說明已经接近上限，應该先稳一稳再加。
• 蜘蛛侧：日誌里單位時間的蜘蛛請求數、狀態碼分布、平均抓取間隔。請求數上升但 5xx 或超时同步上升，通常不是好消息。
• 目标站侧：如果蜘蛛顺着入口頁爬到目标站，目标站的负载也要看一眼，別把對方服務器拖慢。

比較稳妥的做法是设定一個初始並發，观察一到两周後再小幅調整，每次只改一個變量。

重试與退避

失敗是常態，關键是区分類型。连接被拒、超时這類問题适合隔一段時間重试；404、410 這類明确的不可用狀態則不必反复尝试；被 robots 限制的 URL 更應该直接從队列里剔除。重试間隔建议逐步拉長，同一 URL 的重试次數设一個明确上限，超過就轉入人工排查列表。

調度层值得记錄的指标

• 每個入口頁、每個時間段的蜘蛛請求數；
• 投放 URL 總數、已抓取數、待抓取數；
• 重试次數與重试後成功的比例；
• 目标 URL 的狀態碼分布變化。

這些資料不需要很精细，但要能回答两個問题：投放量變了之後蜘蛛行為有没有跟着變；哪一類 URL 長期得不到抓取。

几個常见誤区

• 把投放量等同于抓取量。投得多不等于抓得多，入口頁本身的抓取频率才是上限。
• 所有 URL 同等對待。首頁、栏目頁、内容頁、标簽頁的抓取價值不同，队列不区分就會把预算浪費在低價值頁面上。
• 只盯蜘蛛數，不看目标站。蜘蛛来訪只是過程，最终要看目标 URL 是否被正常抓取、是否進入索引。
• 失敗就加倍重投。同一批 URL 短時間内反复出現，容易让入口頁看起来異常，反而降低抓取意愿。

調度层的作用是让投放變得可控、可观察，而不是用来保證结果。蜘蛛抓不抓、抓多深，最终仍由入口頁质量、連結结构和目标站自身决定。