做蜘蛛池时，入口頁的數量往往是最先膨胀的部分：加域名、加目錄、加模板，几天就能從几百頁涨到几萬頁。但入口頁最终要落在具体的机器、IP 和带宽上，资源帳没算清楚，後面出現的就不是抓得不够，而是服務不稳。這篇讲的是入口頁與主机资源之間的匹配關系，以及什么时候该扩、什么时候该收。
入口頁消耗的三類资源
先把入口頁的消耗拆開，才能判断一台机器放多少合适。
- IP 與域名维度：同一 IP 上堆太多入口頁，等于把所有鸡蛋放在一個篮子里；域名解析與 TLS 握手也會带来額外開销。
- CPU 與内存：纯静態 HTML 的入口頁几乎不吃 CPU，Web 服務主要吃连接數和内存；一旦入口頁由脚本動態生成或带資料库查询，压力會成倍上升。
- 带宽與连接數：爬虫抓取多為並發短连接，單頁体积越大、並發越高，带宽峰值越明顯。
一個 IP、一台机器放多少入口頁
没有萬能數字，但可以用几個參照来判断：
- 入口頁是静態文件、体积在几十 KB 以内，單机放几千到上萬頁通常不會成為瓶颈，真正的限制来自 IP 分布而不是机器本身。
- 入口頁需要脚本渲染或讀資料库，單机几百到一两千頁就该考虑拆分，否則一次抓取高峰就可能把响應時間拉到几秒。
- 同一 IP 的入口頁數量，更多取决于域名與目标頁策略，而不是技術上限。技術扛得住，不等于策略上合适。
爬虫並發来了，源站怎么兜底
入口頁的抓取高峰通常集中在少數时段，机器是照峰值配還是照均值配，要提前决定。
- 静態入口頁尽量静態化並加缓存，让請求少落到後端。
- 對單 IP 的连接數與速率做限制，宁可让部分請求稍慢，也不要整站超时。
- 给入口頁做降級：動態内容拿不到时返回简化版本，而不是直接给 5xx。
- 把日誌寫入與頁面服務分開，避免磁盘 IO 拖慢响應。
入口頁的價值在于能被稳定訪問，而不是能被大量生成。訪問不稳的入口頁，數量再多也只是空轉。
什么时候该加机器，什么时候该精简入口頁
看三個信号：一是入口頁响應時間在抓取高峰明顯變長；二是错誤率上升，尤其是超时和 5xx；三是同一 IP 上的入口頁已经很难再做出差异。前两個信号指向加资源或做缓存，第三個信号指向精简與重新分配，而不是繼續堆量。
精简的方式包括：合並内容重复的入口頁、下线長期没有抓取记錄的頁面、把入口頁按主题或地域重新分配到不同 IP 與域名上。數量减少但分布更合理，通常比單纯加机器更有效。
一份可执行的检查清單
- 入口頁是否以静態方式提供，是否经過缓存层。
- 單机並發上限、连接超时、带宽峰值是否與實际抓取量匹配。
- 同一 IP 與同一域名下的入口頁數量是否做過規划。
- 日誌與监控能否区分爬虫流量和普通訪問。
- 是否有降級方案，避免抓取高峰把源站打崩。
把入口頁当作一項需要容量管理的基础设施来對待，比把它当作可以無限複製的文件更接近實际运营的狀態。资源够用、分布合理、訪問稳定，後續的目标頁引導才有讨论的基础。