很多人搭蜘蛛池时的第一反应是“先把量堆上去”，结果入口页开了几千个，日志里却看不到明显的抓取增长。问题往往不在数量，而在于没有先算清楚需要多少容量。容量估算不是精确科学，但能帮你避开两个方向的浪费：池子太小，蜘蛛来得少；池子太大，抓取被摊薄，每个入口页都变得很冷。

一、容量到底指什么

谈容量之前，先把几个概念分开，否则很容易混着算：

• 入口页数量：池子里可被蜘蛛发现和访问的 URL 总量，这是你完全能控制的部分。
• 可爬深度：从入口页到目标页需要几跳，决定蜘蛛一次访问能覆盖多少页面。
• 日抓取量：蜘蛛实际来抓的次数，受入口页响应速度、IP 与域名分布、目标站本身状况影响。

三个指标里，只有第一个是自己说了算的，后两个取决于外部反馈。所以容量估算的正确姿势是：先看抓取量，再倒推入口页数量，而不是反过来先定数量再等效果。

二、用目标站的抓取基线反推

做法不复杂。先把目标站过去 30 天的抓取日志导出，统计日均抓取次数、被爬到的 URL 数量，以及抓取主要集中在哪些时段。这个结果大致代表目标站目前能承接的抓取规模，也就是你的基线。

接着看入口页的平均被爬频次。如果池子里每个入口页平均每天只被访问 0.2 次，说明页面数量已经超出了蜘蛛的注意力范围，此时继续加页，只会让每个页面更冷。反过来，如果平均每个入口页每天能被访问一次以上，说明还有加量的空间。

三、池子偏小的几个信号

• 新加的入口页通常在 24 到 48 小时内能被发现并抓取，但整体抓取总量一直上不去，加页后也没有明显变化。
• 目标站日志里的抓取次数长期低于基线，且与入口页数量的增减关系不大。
• 入口页的被爬频次偏高，比如一天被访问多次，抓取间隔很短，说明蜘蛛还有余力可用。

出现这些现象，说明入口页的供给还没喂饱蜘蛛，可以考虑按比例增加入口页，或者扩宽 URL 的发现渠道。

四、池子偏大的几个信号

• 新增入口页长时间没有抓取记录，日志里反复出现的始终是那少数几个页面。
• 单个入口页的抓取间隔被拉长，从一天一次变成三五天一次，更新也带不动访问。
• 目标站的抓取量没有同步增长，反而出现波动，抓取时段变得零散。

出现这些情况，不必急着全部撤掉，可以先停止新增、观察一到两周，再决定是否收缩。很多时候问题不在页数，而在入口页的响应速度、链接可达性或者主题相关性太弱。

五、扩容的节奏比总量更重要

比较稳妥的方式是小步走：先增加 10% 到 20% 的入口页，观察一到两周的日志，看抓取量有没有同步变化。如果变化不明显，先把现有入口页的响应速度、内链拓扑和状态码检查一遍，再考虑继续加量。一次性翻倍，往往只是把抓取摊得更薄，很难判断到底是哪一步起了作用。

容量不是越多越好，能被稳定抓到、并且能顺利过渡到目标页的入口页，才算有效容量。

六、别忘了目标站的承接能力

入口页只是发现通道，最终还是要落到目标页上。如果目标页本身打开慢、结构混乱、内链断裂，蜘蛛就算被引过来也留不住。评估容量时把目标站的承接能力一起算进去，才不会出现“池子日志很热闹，站点却没变化”的落差。

小结

容量估算的核心是三件事：看目标站的抓取基线、看入口页的平均被爬频次、看目标站自身的承接能力。先小步加，再根据日志反馈调整，比一次性堆量更可控，也更容易找到适合自己的那个区间。