搭蜘蛛池时最常被問到的一個問题是：到底要多少個入口頁才够？有人几十個就開始跑，有人上千個還在繼續加。數字本身没有對错，關键在于它和你手上的目标頁數量、可用的域名與 IP 资源、以及能被消耗掉的抓取配額是否匹配。
先算抓取配額，再算入口頁數量
蜘蛛對單個站点的抓取是有节制的。同一個域名下的頁面再多，單位時間内被訪問的次數也有上限，超出的部分往往只体現在日誌里的排队，或者干脆不来。
所以在决定入口頁數量之前，先確認一件事：這些入口頁分散在多少個域名上。一千個入口頁堆在五個域名上，和被分散到两百個域名上，能被抓到的量級完全不同。
- 同一域名下的入口頁會互相挤占抓取配額
- 域名越多，總量上限越高，但單域名能分到的注意力越薄
- 真正决定上限的是可被抓取的域名數量，而不是入口頁的總數
影响實际容量的几個變量
- 域名歷史：有過稳定抓取记錄的域名，起步通常更快
- IP 分布：同一 C 段過度集中时，分散带来的收益會打折
- 入口頁内容：模板痕迹重、文字稀薄的頁面，被抓一次後很少回訪
- 目标頁可達性：入口頁点進去是死鏈或纯跳轉鏈，配額等于被浪費
- 服務器响應：TTFB 偏高、超时频繁，蜘蛛會主動降低訪問频率
這几項里任何一項明顯拖後腿，都會让容量上限遠低于入口頁數量给人的直觉。
出現這些信号，說明可以扩
扩容不该凭感觉，比較可靠的信号来自日誌积累出来的趋势：
- 入口頁在几天内被反复訪問，且新加入的頁面也能在較短時間被發現
- 目标頁的抓取量随着入口頁增加同步上升，而不是只有入口頁在被抓
- 現有域名下的頁面基本都被訪問過一轮，没有明顯的長期零抓取頁面
這三條同时成立时，新增域名和入口頁的邊际收益通常還是正的。如果只有入口頁被反复抓、目标頁纹丝不動，那問题多半不在數量上，繼續加也解决不了。
出現這些信号，說明该收一收
- 大量入口頁長期零抓取，日誌里從未出現過
- 抓取集中在少數几個域名，其余域名几乎不動
- 目标頁抓取量在下滑，入口頁數量却還在上涨
- 内容、域名續費和服務器等维護成本，已经超過它带来的發現量
遇到這些情况，先做减法：撤掉長期不動的入口頁、合並重复的目标地址、停掉表現最差的域名。收缩之後观察一两周，再看目标頁的抓取有没有回稳，往往比繼續加頁面更有效。
扩容节奏：一次加多少
比較稳的做法是小步试探，而不是一次性翻倍：
- 每次新增的入口頁數量，控制在現有規模的 20% 到 30% 之間
- 观察七到十四天，看新一轮頁面的首次被抓時間有没有明顯變長
- 明顯變長就停一停，說明目前配額已经被摊薄
- 没有變化再進入下一轮，如此循环
一次翻倍式扩容最常见的结果，是新增頁面互相竞争有限的抓取机會，整体效率反而下降。
容量之外還要看成本
入口頁數量直接對應域名、IP、服務器和内容维護的支出。把這些摊到每一個真正被發現的目标 URL 上，會得到一個比較實在的"單條發現成本"。当這個數字持續走高，通常說明目前規模已经越過了合理区間。
池子的大小本身不是目标，能稳定地把目标頁送進抓取视野才是。
不必去追某個标准數字。先確認域名资源能撑多大，再看日誌里目标頁的抓取是否跟着上涨，最後用較小的步長去试探上限。多數情况下，一個規模不大但整体活跃的池子，比一個庞大却大部分頁面都在沉睡的池子更有用。