做蜘蛛池时，入口页的数量往往是最先膨胀的部分：加域名、加目录、加模板，几天就能从几百页涨到几万页。但入口页最终要落在具体的机器、IP 和带宽上，资源账没算清楚，后面出现的就不是抓得不够，而是服务不稳。这篇讲的是入口页与主机资源之间的匹配关系，以及什么时候该扩、什么时候该收。
入口页消耗的三类资源
先把入口页的消耗拆开，才能判断一台机器放多少合适。
- IP 与域名维度：同一 IP 上堆太多入口页，等于把所有鸡蛋放在一个篮子里；域名解析与 TLS 握手也会带来额外开销。
- CPU 与内存：纯静态 HTML 的入口页几乎不吃 CPU，Web 服务主要吃连接数和内存；一旦入口页由脚本动态生成或带数据库查询，压力会成倍上升。
- 带宽与连接数：爬虫抓取多为并发短连接，单页体积越大、并发越高，带宽峰值越明显。
一个 IP、一台机器放多少入口页
没有万能数字，但可以用几个参照来判断：
- 入口页是静态文件、体积在几十 KB 以内，单机放几千到上万页通常不会成为瓶颈，真正的限制来自 IP 分布而不是机器本身。
- 入口页需要脚本渲染或读数据库，单机几百到一两千页就该考虑拆分，否则一次抓取高峰就可能把响应时间拉到几秒。
- 同一 IP 的入口页数量，更多取决于域名与目标页策略，而不是技术上限。技术扛得住，不等于策略上合适。
爬虫并发来了，源站怎么兜底
入口页的抓取高峰通常集中在少数时段，机器是照峰值配还是照均值配，要提前决定。
- 静态入口页尽量静态化并加缓存，让请求少落到后端。
- 对单 IP 的连接数与速率做限制，宁可让部分请求稍慢，也不要整站超时。
- 给入口页做降级：动态内容拿不到时返回简化版本，而不是直接给 5xx。
- 把日志写入与页面服务分开，避免磁盘 IO 拖慢响应。
入口页的价值在于能被稳定访问，而不是能被大量生成。访问不稳的入口页，数量再多也只是空转。
什么时候该加机器，什么时候该精简入口页
看三个信号：一是入口页响应时间在抓取高峰明显变长；二是错误率上升，尤其是超时和 5xx；三是同一 IP 上的入口页已经很难再做出差异。前两个信号指向加资源或做缓存，第三个信号指向精简与重新分配，而不是继续堆量。
精简的方式包括：合并内容重复的入口页、下线长期没有抓取记录的页面、把入口页按主题或地域重新分配到不同 IP 与域名上。数量减少但分布更合理，通常比单纯加机器更有效。
一份可执行的检查清单
- 入口页是否以静态方式提供，是否经过缓存层。
- 单机并发上限、连接超时、带宽峰值是否与实际抓取量匹配。
- 同一 IP 与同一域名下的入口页数量是否做过规划。
- 日志与监控能否区分爬虫流量和普通访问。
- 是否有降级方案，避免抓取高峰把源站打崩。
把入口页当作一项需要容量管理的基础设施来对待，比把它当作可以无限复制的文件更接近实际运营的状态。资源够用、分布合理、访问稳定，后续的目标页引导才有讨论的基础。