铺入口頁的时候，很多人先想的是數量和内容，最後才想起服務器。但蜘蛛池這類玩法里，入口頁不是给真人看的，它們存在的意义就是被蜘蛛反复抓取。抓取行為對服務器来说是一類很稳定的压力：單次並發不高，但频次密、周期長，而且一旦入口頁數量上来，請求曲线會明顯抬升。
為什么先算承载，再谈铺量
入口頁铺到一定規模後，最容易出現的不是蜘蛛不来，而是来了但抓不動。表現是日誌里 200 和 5xx 混在一起，或者大量請求的响應時間超過几百毫秒。蜘蛛對超时和错誤是有记忆的，一個入口頁连續几次打不開，抓取频率就會往下掉。
三個變量要先估清楚
- 蜘蛛訪問量：取决于入口頁數量、蜘蛛對你站点的抓取兴趣，以及外部連結的曝光度。
- 單頁资源体积：一個纯静態 HTML 入口頁可能只有几十 KB；如果带上图片、字体、外鏈 JS，單次抓取的字节數會翻好几倍。
- 服務器處理能力：不只是 CPU，還包括连接數上限、磁盘 IO、出口带宽和机房限速策略。
蜘蛛訪問量怎么估
不要靠猜，直接看現有日誌。挑一段稳定期，統計每天来自主要搜尋引擎 UA 的請求數、峰值小时請求數、平均响應時間，再拿這個基數去乘計划上线的頁面倍數，得到一個粗略区間就够了。
單頁资源体积怎么压
入口頁没必要做重。去掉不必要的图片、第三方統計脚本和外部字体，把 CSS 内联進頁面，通常能把單頁体积压到原来的三分之一以下。体积小了，带宽和响應時間都會跟着下来。
服務器處理能力怎么看
静態頁建议直接走 Nginx 或對象存储加 CDN，避免每個請求都過動態程序。如果是程序生成的入口頁，要留意資料库连接池和缓存，蜘蛛這種規律性的請求很容易把缓存击穿。
常见的几種崩法
- 带宽打满：入口頁里塞了大图或视频，蜘蛛抓几十個頁面就把出口占满。
- 连接數耗尽：動態程序每個請求都要连資料库，连接池不够时開始排队超时。
- 被机房限速：短時間内請求量突增，触發上游的流量清洗或限速。
- CDN 回源失控：缓存没配好，蜘蛛的每次訪問都回源到源站，源站压力不降反升。
扩容节奏上的几点建议
- 先小批量上线，观察一两周的日誌和服務器指标，再决定要不要加量。
- 入口頁尽量静態化，能放 CDN 就放 CDN，把源站压力降到最低。
- 條件允许时给入口頁所在的域名單獨配置资源，避免和主站抢同一台机器、同一條带宽。
- 設定合理的缓存头和過期時間，减少蜘蛛重复抓取同一资源的開销。
- 留出余量，峰值不要贴着服務器上限跑。
该盯哪些指标
- 按小时統計的蜘蛛請求數，看趋势而不是只看單日總數。
- 5xx 比例和超时請求比例。
- 平均响應時間與 P95 响應時間。
- 出口带宽使用率和源站回源率。
蜘蛛池的稳定性，一半在頁面，一半在承载。頁面寫得再好，服務器扛不住，抓取频率一样會掉。
把承载算清楚，再决定入口頁的規模，比先铺几千個頁面、回头再救火要省事得多。規模、内容、服務器這三者最好同步推進，任何一項明顯短腿，整体效果都會打折。