搭蜘蛛池最容易犯的错，是先把域名、IP 和服务器买齐，再回头想自己要跑多少入口页。顺序反过来会省很多事：先算清楚自己一天能稳定维护多少页面，再倒推需要多少资源。容量不是越大越好，而是要和维护能力、目标站点的节奏对得上。
先明确三个硬约束
容量规划本质上是三个约束求交集，任何一项拖后腿，整体规模就上不去。
- 域名与 IP 约束：入口页需要承载的域名和 IP 数量，取决于你打算怎么分组、怎么轮换。一个域名塞太多页面，问题会集中爆发；域名铺得太散，又管不过来。
- 服务器与带宽约束：入口页本身很轻，但爬虫集中访问时，连接数和带宽会瞬间拉高。要按峰值而不是平均值预留。
- 人力约束：这是最常被忽略的一项。新增的页面需要有人检查、替换、下线，出问题要有人排查。一个人一天能认真过一遍的量是有限的。
把这三项写下来，取其中最小的那个数字，就是你当前的真实容量。
一个可执行的估算顺序
不用追求精确，先有一个能落地的起点即可：
- 确定目标：这批入口页是给哪些站点、哪些栏目做 URL 发现用的，范围先框住。
- 估算单页维护成本：一条入口页从建好到稳定运行，平均要花多少时间做检查、内容更新和异常处理。
- 用可用工时除以单页成本，得出每天或每周能新增的页面数。
- 再按这个数量反推域名、IP 和服务器配置，预留两三成的冗余。
举例来说，如果一个人每天能认真维护 30 到 50 个新增入口页，那就不必按每天 500 个去铺资源——铺了也接不住。
增长节奏比总量更重要
一次性放量最大的问题是出问题时找不到原因：是域名的问题、IP 的问题，还是内容或结构的问题，混在一起无法区分。
更稳妥的做法是分批推进：
- 第一批只放计划量的一小部分，观察一段时间的访问日志和服务器负载。
- 确认没有明显的异常连接、解析失败、重复抓取之后，再按固定节奏往上加。
- 每一批新加入口页的域名或 IP 尽量和上一批有所区分，便于对比排查。
增长的关键不是快，而是每一批都能说清楚“加了之后发生了什么变化”。
出现这些信号就该暂停扩张
扩容不该是单向的。下面几种情况出现时，先停下来看看，而不是继续加量：
- 日志里爬虫访问在总访问中的占比持续走低，说明新增的页面并没有被有效发现。
- 异常日志、解析失败、超时的数量随着新增页面同步上升，说明基础设施跟不上。
- 维护开始靠拖时间顶着，页面检查从周变成月，问题积压。
- 投入产出明显失衡，服务器和域名费用涨了，但整体效果没有变化。
容量规划的目的是让投入可控、问题可定位，而不是保证任何抓取量或收录结果。规模再大，也替代不了逐个排查。
用一张简单的表把容量管起来
不需要复杂的系统，一张表就够：日期、新增入口页数、涉及域名数、涉及 IP 数、异常数量、实际维护耗时。连续记录两三周，你会很容易看出自己每天真正能消化多少，以及加量到底带来了什么变化。
当这张表稳定下来，容量规划就不再是拍脑袋，而是有据可依的日常动作。