做蜘蛛池的人经常问一个问题：入口页要多少个才算够？这个问题没有标准答案，因为影响抓取量的不是入口页数量本身，而是搜索蜘蛛愿意在你的站点上花多少时间，以及你的页面能不能持续提供可发现的链接。下面把几个可以量化的变量拆开讲，方便自己估算规模。
先把三个数量分清楚
估算之前，先明确自己手上有什么：
- 入口页数量：能被搜索蜘蛛独立访问、且返回可解析 HTML 的页面总数。
- 每页有效链接数：单个入口页上指向目标 URL 的链接条数，去重之后才算有效。
- 目标 URL 总数：真正希望被发现的地址，去掉重复和参数变体后剩下的数量。
很多人只盯着第一个数字，忽略了后两个。一页放五百条链接和放五十条链接，对同一个入口页来说，被发现的机会并不成正比，反而可能让页面更难维护。
抓取预算不是配额，是观察出来的结果
“抓取预算”这个词听起来像官方发的一个额度，实际上更像是站点自身状态在日志里的投影。与其猜，不如从日志里读三个指标：
- 单位时间内搜索蜘蛛对你站点的访问次数，以及其中有多少落在入口页上。
- 返回码分布：200 之外的比例有多高，404 和 5xx 是不是集中在某几个页面。
- 覆盖情况：目标 URL 里有多少至少被访问过一次。
如果日志显示蜘蛛每天都来，但翻来覆去只抓首页和几个老页面，那增加入口页数量通常改变不了什么，问题更可能出在链接结构或页面本身的响应质量上。
一个可以照着走的估算流程
不需要精确，能给出数量级就够：
- 先记录一周日志，算出平均每天入口页被访问的次数 A。
- 看每个入口页平均暴露多少条去重后的目标链接 B。
- 用 A × B 得到一个很粗的上限值，再按三到五成折算，作为一天里理论上可能被触及的链接数。
- 拿这个数和目标 URL 总数比，判断是缺入口页，还是已有入口页的抓取频率本身就没起来。
这个方法故意做得粗糙，因为真实情况里会打折的因素太多：重复链接、被 robots.txt 挡住的路径、跳转链过长、页面响应太慢，都会让实际数字低于估算。
扩张之前先算成本
- 服务器与带宽：入口页越多，被扫的请求也越多，其中还包括并非你想要的爬虫带来的流量。
- 维护成本：页面内容、返回状态、外链是否还有效都要定期检查，数量一多就容易失管。
- 风险集中：同一批入口页放在同一台机器、同一段 IP 上，出问题时往往是一起出问题。
什么时候该缩减而不是继续加
出现下面几种情况时，先别急着加页面：日志里 5xx 比例偏高；入口页之间内容高度雷同；目标 URL 大量返回 404；单个入口页链接数已经过百，却几乎没有新增地址被抓。这些信号说明瓶颈不在数量上。
入口页解决的是“把 URL 放到搜索蜘蛛能看见的位置”，能不能被收录仍然取决于目标页自身的质量和站点整体情况，任何规模配置都不构成收录保证。
小结
规模估算的顺序应该是：先用日志摸清蜘蛛实际在你站点上的活动量，再看入口页的链接暴露效率，最后才决定加多少页面。先堆数量再回头找原因，通常要花更多时间收拾。