先明确“容量”指哪几件事
提到蜘蛛池容量，很多人第一反應是“有多少個域名、多少個入口頁”。但真正决定产出的是四件事：入口頁總量、可用域名與IP數量、單日能承接的抓取請求量，以及能稳定交给目标站的連結數量。這四項里任意一項明顯偏小，整体吞吐就會被它卡住，單纯地堆入口頁並不會带来等比增長。
三個绕不開的约束
抓取预算
搜尋引擎分配给一個站点的抓取资源是有限的。同一批资源下，入口頁數量越多，單個頁面被訪問的平均次數就越少，重訪間隔被拉長，連結被發現的時間也随之延後。入口頁從五百扩到五千，不代表整体抓取量會涨十倍，更常见的情况是單頁抓取频次被摊薄。
服務器承载
蜘蛛抓取是並發請求。带宽、连接數、資料库查询、動態渲染都會影响响應時間。响應時間一旦明顯變長，抓取深度和频次通常會下降。所以在扩入口頁之前，先看看自己的响應時間曲线是否平稳，否則扩容只是把瓶颈從數量轉移到了速度上。
目标頁的承接能力
蜘蛛池的作用是把蜘蛛引到目标頁。如果目标頁本身只有几十個，入口頁做到几千個也没有意义——多出来的入口頁只會反复指向同一批 URL，連結结构變得單一，反而降低了多样性。入口頁規模應当與目标頁規模大致匹配。
入口頁與目标頁的大致配比
没有放之四海皆准的比例，但可以用一個简單方法估算：先統計目标頁里“需要被持續抓取”的數量，再按每個入口頁平均指向三到八個目标頁来反推入口頁數量。這样算出来的規模通常不會太离谱。如果入口頁遠遠多于目标頁，就應该先补目标頁内容，而不是繼續加入口。
域名與IP的配比
域名和IP的數量决定了入口頁能被分配到多少個“站点身份”上。入口頁過度集中在少數域名下，會让抓取行為看起来像單站点的内部循环。一般来说，同一域名下承载的入口頁數量不宜太多，同一IP上的域名數量也要留出余量。具体阈值没有统一标准，可以按自己的资源和歷史反馈做小步調整。
放量节奏：先跑小批量
一次性把入口頁全部上线，出了問题很难定位。更稳妥的做法是分步驗證：
- 先上线一小批入口頁，覆盖少量域名與IP，观察狀態碼是否稳定、响應時間是否正常。
- 观察訪問日誌中蜘蛛的来訪是否持續，而不是只有上线当天的一波。
- 對比目标頁的抓取反馈，確認連結确實被發現了。
- 確認無誤後再按批次放量，每批之間留出观察窗口。
這样即使某批资源有問题，影响范围也可控。
几個常见誤区
- 只加數量不看质量。入口頁本身是空頁或内容高度重复，加得再多也难以形成稳定抓取。
- 忽略目标頁更新。目标頁長期不變，入口頁的連結就失去了持續被抓的理由。
- 一次性全量上线。缺少灰度過程，出問题时排查成本高。
- 把容量等同于效果。容量只是上限，實际产出還取决于响應速度、連結结构和内容质量。
容量規划的目标不是“能堆多少”，而是让入口頁數量、域名IP资源、服務器承载力和目标頁規模四者保持大致匹配。
小结
容量規划的核心是匹配，而不是堆量。先小批量驗證，再按观察结果逐步放量，比一次性铺開更容易發現問题，也更方便後續調整。