搭蜘蛛池时最常被问到的一个问题是：到底要多少个入口页才够？有人几十个就开始跑，有人上千个还在继续加。数字本身没有对错，关键在于它和你手上的目标页数量、可用的域名与 IP 资源、以及能被消耗掉的抓取配额是否匹配。
先算抓取配额，再算入口页数量
蜘蛛对单个站点的抓取是有节制的。同一个域名下的页面再多，单位时间内被访问的次数也有上限，超出的部分往往只体现在日志里的排队，或者干脆不来。
所以在决定入口页数量之前，先确认一件事：这些入口页分散在多少个域名上。一千个入口页堆在五个域名上，和被分散到两百个域名上，能被抓到的量级完全不同。
- 同一域名下的入口页会互相挤占抓取配额
- 域名越多，总量上限越高，但单域名能分到的注意力越薄
- 真正决定上限的是可被抓取的域名数量，而不是入口页的总数
影响实际容量的几个变量
- 域名历史：有过稳定抓取记录的域名，起步通常更快
- IP 分布：同一 C 段过度集中时，分散带来的收益会打折
- 入口页内容：模板痕迹重、文字稀薄的页面，被抓一次后很少回访
- 目标页可达性：入口页点进去是死链或纯跳转链，配额等于被浪费
- 服务器响应：TTFB 偏高、超时频繁，蜘蛛会主动降低访问频率
这几项里任何一项明显拖后腿，都会让容量上限远低于入口页数量给人的直觉。
出现这些信号，说明可以扩
扩容不该凭感觉，比较可靠的信号来自日志积累出来的趋势：
- 入口页在几天内被反复访问，且新加入的页面也能在较短时间被发现
- 目标页的抓取量随着入口页增加同步上升，而不是只有入口页在被抓
- 现有域名下的页面基本都被访问过一轮，没有明显的长期零抓取页面
这三条同时成立时，新增域名和入口页的边际收益通常还是正的。如果只有入口页被反复抓、目标页纹丝不动，那问题多半不在数量上，继续加也解决不了。
出现这些信号，说明该收一收
- 大量入口页长期零抓取，日志里从未出现过
- 抓取集中在少数几个域名，其余域名几乎不动
- 目标页抓取量在下滑，入口页数量却还在上涨
- 内容、域名续费和服务器等维护成本，已经超过它带来的发现量
遇到这些情况，先做减法：撤掉长期不动的入口页、合并重复的目标地址、停掉表现最差的域名。收缩之后观察一两周，再看目标页的抓取有没有回稳，往往比继续加页面更有效。
扩容节奏：一次加多少
比较稳的做法是小步试探，而不是一次性翻倍：
- 每次新增的入口页数量，控制在现有规模的 20% 到 30% 之间
- 观察七到十四天，看新一轮页面的首次被抓时间有没有明显变长
- 明显变长就停一停，说明当前配额已经被摊薄
- 没有变化再进入下一轮，如此循环
一次翻倍式扩容最常见的结果，是新增页面互相竞争有限的抓取机会，整体效率反而下降。
容量之外还要看成本
入口页数量直接对应域名、IP、服务器和内容维护的支出。把这些摊到每一个真正被发现的目标 URL 上，会得到一个比较实在的"单条发现成本"。当这个数字持续走高，通常说明当前规模已经越过了合理区间。
池子的大小本身不是目标，能稳定地把目标页送进抓取视野才是。
不必去追某个标准数字。先确认域名资源能撑多大，再看日志里目标页的抓取是否跟着上涨，最后用较小的步长去试探上限。多数情况下，一个规模不大但整体活跃的池子，比一个庞大却大部分页面都在沉睡的池子更有用。