搭蜘蛛池最容易犯的错，是先把域名、IP 和服務器買齐，再回头想自己要跑多少入口頁。顺序反過来會省很多事：先算清楚自己一天能稳定维護多少頁面，再倒推需要多少资源。容量不是越大越好，而是要和维護能力、目标站点的节奏對得上。
先明确三個硬约束
容量規划本质上是三個约束求交集，任何一項拖後腿，整体規模就上不去。
- 域名與 IP 约束：入口頁需要承载的域名和 IP 數量，取决于你打算怎么分组、怎么轮換。一個域名塞太多頁面，問题會集中爆發；域名铺得太散，又管不過来。
- 服務器與带宽约束：入口頁本身很轻，但爬虫集中訪問时，连接數和带宽會瞬間拉高。要按峰值而不是平均值预留。
- 人力约束：這是最常被忽略的一項。新增的頁面需要有人检查、替換、下线，出問题要有人排查。一個人一天能認真過一遍的量是有限的。
把這三項寫下来，取其中最小的那個數字，就是你目前的真實容量。
一個可执行的估算顺序
不用追求精确，先有一個能落地的起点即可：
- 确定目标：這批入口頁是给哪些站点、哪些栏目做 URL 發現用的，范围先框住。
- 估算單頁维護成本：一條入口頁從建好到稳定執行，平均要花多少時間做检查、内容更新和異常處理。
- 用可用工时除以單頁成本，得出每天或每周能新增的頁面數。
- 再按這個數量反推域名、IP 和服務器配置，预留两三成的冗余。
举例来说，如果一個人每天能認真维護 30 到 50 個新增入口頁，那就不必按每天 500 個去铺资源——铺了也接不住。
增長节奏比總量更重要
一次性放量最大的問题是出問题时找不到原因：是域名的問题、IP 的問题，還是内容或结构的問题，混在一起無法区分。
更稳妥的做法是分批推進：
- 第一批只放計划量的一小部分，观察一段時間的訪問日誌和服務器负载。
- 確認没有明顯的異常连接、解析失敗、重复抓取之後，再按固定节奏往上加。
- 每一批新加入口頁的域名或 IP 尽量和上一批有所区分，便于對比排查。
增長的關键不是快，而是每一批都能说清楚“加了之後發生了什么變化”。
出現這些信号就该暫停扩張
扩容不该是單向的。下面几種情况出現时，先停下来看看，而不是繼續加量：
- 日誌里爬虫訪問在總訪問中的占比持續走低，說明新增的頁面並没有被有效發現。
- 異常日誌、解析失敗、超时的數量随着新增頁面同步上升，說明基础设施跟不上。
- 维護開始靠拖時間顶着，頁面检查從周變成月，問题积压。
- 投入产出明顯失衡，服務器和域名費用涨了，但整体效果没有變化。
容量規划的目的是让投入可控、問题可定位，而不是保證任何抓取量或收錄结果。規模再大，也替代不了逐個排查。
用一張简單的表把容量管起来
不需要复杂的系統，一張表就够：日期、新增入口頁數、涉及域名數、涉及 IP 數、異常數量、實际维護耗时。连續记錄两三周，你會很容易看出自己每天真正能消化多少，以及加量到底带来了什么變化。
当這張表稳定下来，容量規划就不再是拍脑袋，而是有據可依的日常動作。