很多人搭蜘蛛池时的第一反應是“先把量堆上去”，结果入口頁開了几千個，日誌里却看不到明顯的抓取增長。問题往往不在數量，而在于没有先算清楚需要多少容量。容量估算不是精确科学，但能帮你避開两個方向的浪費：池子太小，蜘蛛来得少；池子太大，抓取被摊薄，每個入口頁都變得很冷。

一、容量到底指什么

谈容量之前，先把几個概念分開，否則很容易混着算：

• 入口頁數量：池子里可被蜘蛛發現和訪問的 URL 總量，這是你完全能控制的部分。
• 可爬深度：從入口頁到目标頁需要几跳，决定蜘蛛一次訪問能覆盖多少頁面。
• 日抓取量：蜘蛛實际来抓的次數，受入口頁响應速度、IP 與域名分布、目标站本身状况影响。

三個指标里，只有第一個是自己说了算的，後两個取决于外部反馈。所以容量估算的正确姿势是：先看抓取量，再倒推入口頁數量，而不是反過来先定數量再等效果。

二、用目标站的抓取基线反推

做法不复杂。先把目标站過去 30 天的抓取日誌導出，統計日均抓取次數、被爬到的 URL 數量，以及抓取主要集中在哪些时段。這個结果大致代表目标站目前能承接的抓取規模，也就是你的基线。

接着看入口頁的平均被爬频次。如果池子里每個入口頁平均每天只被訪問 0.2 次，說明頁面數量已经超出了蜘蛛的注意力范围，此时繼續加頁，只會让每個頁面更冷。反過来，如果平均每個入口頁每天能被訪問一次以上，說明還有加量的空間。

三、池子偏小的几個信号

• 新加的入口頁通常在 24 到 48 小时内能被發現並抓取，但整体抓取總量一直上不去，加頁後也没有明顯變化。
• 目标站日誌里的抓取次數長期低于基线，且與入口頁數量的增减關系不大。
• 入口頁的被爬频次偏高，比如一天被訪問多次，抓取間隔很短，說明蜘蛛還有余力可用。

出現這些現象，說明入口頁的供给還没喂饱蜘蛛，可以考虑按比例增加入口頁，或者扩宽 URL 的發現渠道。

四、池子偏大的几個信号

• 新增入口頁長時間没有抓取记錄，日誌里反复出現的始终是那少數几個頁面。
• 單個入口頁的抓取間隔被拉長，從一天一次變成三五天一次，更新也带不動訪問。
• 目标站的抓取量没有同步增長，反而出現波動，抓取时段變得零散。

出現這些情况，不必急着全部撤掉，可以先停止新增、观察一到两周，再决定是否收缩。很多时候問题不在頁數，而在入口頁的响應速度、連結可達性或者主题相關性太弱。

五、扩容的节奏比總量更重要

比較稳妥的方式是小步走：先增加 10% 到 20% 的入口頁，观察一到两周的日誌，看抓取量有没有同步變化。如果變化不明顯，先把現有入口頁的响應速度、内鏈拓扑和狀態碼检查一遍，再考虑繼續加量。一次性翻倍，往往只是把抓取摊得更薄，很难判断到底是哪一步起了作用。

容量不是越多越好，能被稳定抓到、並且能顺利過渡到目标頁的入口頁，才算有效容量。

六、別忘了目标站的承接能力

入口頁只是發現通道，最终還是要落到目标頁上。如果目标頁本身打開慢、结构混乱、内鏈断裂，蜘蛛就算被引過来也留不住。评估容量时把目标站的承接能力一起算進去，才不會出現“池子日誌很热闹，站点却没變化”的落差。

小结

容量估算的核心是三件事：看目标站的抓取基线、看入口頁的平均被爬频次、看目标站自身的承接能力。先小步加，再根據日誌反馈調整，比一次性堆量更可控，也更容易找到适合自己的那個区間。