搭蜘蛛池之前，多数人先问的是入口页怎么写，很少有人先问这个池子能带多少目标页。结果往往是铺了几百个入口页，目标 URL 却有几千个，最后每个 URL 分到的抓取次数少得可怜，看上去池子在跑，实际什么也没推动。
容量不是一个精确数字，但可以估算。先把它拆成几个变量。
决定容量的四个变量
- 有效入口页数量：能被爬虫正常访问、且确实被访问过的页面，不是后台生成的总数。
- 每个入口页的外链数：一页放 3 条和放 30 条，单页能分出去的抓取机会完全不同。
- 单页被抓取的频次：一天来一次和一周来一次，量级差好几倍。
- 目标页数量：要喂的 URL 总数，以及每个 URL 需要被重复抓到几次。
这四个变量里，最容易高估的是第一个。生成一万个入口页很容易，被爬虫真正抓过一遍的可能只有几百个。估算容量的第一步，是把生成量换成实际抓取量。
两种估算思路
从入口页往下倒推
假设你有 500 个有效入口页，每页稳定放 5 条目标链接，爬虫平均两天完整抓一轮。那么一天内能被触达的目标链接大约是 500×5÷2=1250 次。如果单个目标 URL 你希望一周至少被抓到 2 次，那么一周可承载的目标页数量大概是 1250×7÷2≈4300 个。这是理论上限，实际打七折更稳妥。
从访问日志往上反推
如果池子已经在跑，直接看日志更准。取最近 7 天，统计三个数字：每天访问入口页的爬虫请求数、其中来自主流搜索蜘蛛的比例、以及这些请求落在了多少个不同 URL 上。用去重后的被抓入口页数乘以每页外链数，再除以目标页数，就能看出每个目标页平均一轮能分到几次抓取。低于每周一次，基本可以判断容量不够。
常见的容量错配
- 池子太小、目标太多：每个 URL 长期分不到抓取，铺了等于没铺。
- 池子太大、目标太少：入口页互相之间没事干，服务器和域名成本白花。
- 入口页大量死链：链接指向 404 或超时，抓取预算被消耗在错误页面上。
- 只算入口页不算出口：目标页本身打开慢、加载超时，爬虫来了一次不再来。
- 所有目标页挂在同一批入口页上：这批页一旦被降权，整体一起掉。
扩容的顺序建议
- 先确认现有入口页是否真的被抓，别急着加新页。
- 在抓取量稳定的入口页上增加外链位，而不是无脑复制新页。
- 新页上线后，从老页给它一两条链接，帮它进入抓取队列。
- 观察两到三周，看新增入口页有没有带来等比例的抓取增长。
- 增长停滞时，再考虑增加域名或 IP 资源，而不是继续灌页面。
扩容最怕的是线性思维：以为入口页翻倍、抓取就翻倍。实际中，服务器响应、域名信誉、内容重复度都会让边际收益递减，第二千个入口页的价值远低于第一个。
容量估算不是 KPI
容量只能告诉你这个池子大概能覆盖多少 URL，不能告诉你这些 URL 会不会被收录、会不会有排名。抓取只是第一步，中间的索引、排序、竞争，每一项都不在池子的控制范围内。
所以更实际的用法是：把容量当成一个排查工具。当目标页长期没有动静时，先算一遍单页分到的抓取次数，如果数字明显偏低，问题多半出在池子规模与目标数量的比例上，而不是页面内容本身。