铺入口页的时候，很多人先想的是数量和内容，最后才想起服务器。但蜘蛛池这类玩法里，入口页不是给真人看的，它们存在的意义就是被蜘蛛反复抓取。抓取行为对服务器来说是一类很稳定的压力：单次并发不高，但频次密、周期长，而且一旦入口页数量上来，请求曲线会明显抬升。
为什么先算承载，再谈铺量
入口页铺到一定规模后，最容易出现的不是蜘蛛不来，而是来了但抓不动。表现是日志里 200 和 5xx 混在一起，或者大量请求的响应时间超过几百毫秒。蜘蛛对超时和错误是有记忆的，一个入口页连续几次打不开，抓取频率就会往下掉。
三个变量要先估清楚
- 蜘蛛访问量：取决于入口页数量、蜘蛛对你站点的抓取兴趣，以及外部链接的曝光度。
- 单页资源体积：一个纯静态 HTML 入口页可能只有几十 KB；如果带上图片、字体、外链 JS，单次抓取的字节数会翻好几倍。
- 服务器处理能力：不只是 CPU，还包括连接数上限、磁盘 IO、出口带宽和机房限速策略。
蜘蛛访问量怎么估
不要靠猜，直接看现有日志。挑一段稳定期，统计每天来自主要搜索引擎 UA 的请求数、峰值小时请求数、平均响应时间，再拿这个基数去乘计划上线的页面倍数，得到一个粗略区间就够了。
单页资源体积怎么压
入口页没必要做重。去掉不必要的图片、第三方统计脚本和外部字体，把 CSS 内联进页面，通常能把单页体积压到原来的三分之一以下。体积小了，带宽和响应时间都会跟着下来。
服务器处理能力怎么看
静态页建议直接走 Nginx 或对象存储加 CDN，避免每个请求都过动态程序。如果是程序生成的入口页，要留意数据库连接池和缓存，蜘蛛这种规律性的请求很容易把缓存击穿。
常见的几种崩法
- 带宽打满：入口页里塞了大图或视频，蜘蛛抓几十个页面就把出口占满。
- 连接数耗尽：动态程序每个请求都要连数据库，连接池不够时开始排队超时。
- 被机房限速：短时间内请求量突增，触发上游的流量清洗或限速。
- CDN 回源失控：缓存没配好，蜘蛛的每次访问都回源到源站，源站压力不降反升。
扩容节奏上的几点建议
- 先小批量上线，观察一两周的日志和服务器指标，再决定要不要加量。
- 入口页尽量静态化，能放 CDN 就放 CDN，把源站压力降到最低。
- 条件允许时给入口页所在的域名单独配置资源，避免和主站抢同一台机器、同一条带宽。
- 设置合理的缓存头和过期时间，减少蜘蛛重复抓取同一资源的开销。
- 留出余量，峰值不要贴着服务器上限跑。
该盯哪些指标
- 按小时统计的蜘蛛请求数，看趋势而不是只看单日总数。
- 5xx 比例和超时请求比例。
- 平均响应时间与 P95 响应时间。
- 出口带宽使用率和源站回源率。
蜘蛛池的稳定性，一半在页面，一半在承载。页面写得再好，服务器扛不住，抓取频率一样会掉。
把承载算清楚，再决定入口页的规模，比先铺几千个页面、回头再救火要省事得多。规模、内容、服务器这三者最好同步推进，任何一项明显短腿，整体效果都会打折。