先明确“容量”指哪几件事
提到蜘蛛池容量，很多人第一反应是“有多少个域名、多少个入口页”。但真正决定产出的是四件事：入口页总量、可用域名与IP数量、单日能承接的抓取请求量，以及能稳定交给目标站的链接数量。这四项里任意一项明显偏小，整体吞吐就会被它卡住，单纯地堆入口页并不会带来等比增长。
三个绕不开的约束
抓取预算
搜索引擎分配给一个站点的抓取资源是有限的。同一批资源下，入口页数量越多，单个页面被访问的平均次数就越少，重访间隔被拉长，链接被发现的时间也随之延后。入口页从五百扩到五千，不代表整体抓取量会涨十倍，更常见的情况是单页抓取频次被摊薄。
服务器承载
蜘蛛抓取是并发请求。带宽、连接数、数据库查询、动态渲染都会影响响应时间。响应时间一旦明显变长，抓取深度和频次通常会下降。所以在扩入口页之前，先看看自己的响应时间曲线是否平稳，否则扩容只是把瓶颈从数量转移到了速度上。
目标页的承接能力
蜘蛛池的作用是把蜘蛛引到目标页。如果目标页本身只有几十个，入口页做到几千个也没有意义——多出来的入口页只会反复指向同一批 URL，链接结构变得单一，反而降低了多样性。入口页规模应当与目标页规模大致匹配。
入口页与目标页的大致配比
没有放之四海皆准的比例，但可以用一个简单方法估算：先统计目标页里“需要被持续抓取”的数量，再按每个入口页平均指向三到八个目标页来反推入口页数量。这样算出来的规模通常不会太离谱。如果入口页远远多于目标页，就应该先补目标页内容，而不是继续加入口。
域名与IP的配比
域名和IP的数量决定了入口页能被分配到多少个“站点身份”上。入口页过度集中在少数域名下，会让抓取行为看起来像单站点的内部循环。一般来说，同一域名下承载的入口页数量不宜太多，同一IP上的域名数量也要留出余量。具体阈值没有统一标准，可以按自己的资源和历史反馈做小步调整。
放量节奏：先跑小批量
一次性把入口页全部上线，出了问题很难定位。更稳妥的做法是分步验证：
- 先上线一小批入口页，覆盖少量域名与IP，观察状态码是否稳定、响应时间是否正常。
- 观察访问日志中蜘蛛的来访是否持续，而不是只有上线当天的一波。
- 对比目标页的抓取反馈，确认链接确实被发现了。
- 确认无误后再按批次放量，每批之间留出观察窗口。
这样即使某批资源有问题，影响范围也可控。
几个常见误区
- 只加数量不看质量。入口页本身是空页或内容高度重复，加得再多也难以形成稳定抓取。
- 忽略目标页更新。目标页长期不变，入口页的链接就失去了持续被抓的理由。
- 一次性全量上线。缺少灰度过程，出问题时排查成本高。
- 把容量等同于效果。容量只是上限，实际产出还取决于响应速度、链接结构和内容质量。
容量规划的目标不是“能堆多少”，而是让入口页数量、域名IP资源、服务器承载力和目标页规模四者保持大致匹配。
小结
容量规划的核心是匹配，而不是堆量。先小批量验证，再按观察结果逐步放量，比一次性铺开更容易发现问题，也更方便后续调整。