做蜘蛛池的人几乎都问过同一个问题：入口页到底要铺多少？有人一把铺几万页然后放在那里不管，也有人铺几百页看不到变化就收手。这两种做法的问题其实一样——把“数量”当成了唯一变量。真正决定结果的，是有效入口页的数量、它们能撑多久，以及你维护得过来多少。
为什么没有一个标准数字
入口页规模至少受四个因素影响，任何一个变了，答案都会跟着变：
- 目标页规模：要带动的 URL 是几百条还是几十万条，需要的入口页完全不是一回事。
- 可用域名与服务器资源：每个域名能承载多少入口页，带宽和并发能撑到什么程度。
- 抓取预算：蜘蛛愿意在你的这些域名上花多少时间，这是外部条件，不受你控制。
- 维护人力：入口页会失效，需要有人定期检查、替换和清理。
所以别人给出的“铺五千页就够”这类数字，离开他的域名条件、目标页类型和维护方式，对你几乎没有参考价值。
先算清楚三个数
1. 目标页数量
把真正希望被发现的 URL 列出来，去掉重复和参数变体。这个数字决定了入口页需求的下限：如果目标页总共只有两百条，铺几万入口页并没有实际意义。
2. 有效入口页数量
不是导入了多少，而是当前仍然能被正常抓取的有多少。域名过期、解析变更、页面被处理、服务器长期返回 5xx，都会让入口页从“有效”变成“挂着”。建议按周统计一次：有效数 ≈ 总导入数 × 存活率。如果存活率只有六成，铺一万页实际等于六千页。
3. 每天能投入的维护时间
一个入口页池的日常工作是：看状态码分布、替换失效页、观察爬虫请求变化、处理异常域名。假设检查一千页要半小时，那么你能维护的上限是可以算出来的。超过这个上限，池子就会慢慢腐化。
存活率比总量更值得盯
新池子上线时大家最关心总量，跑上一两个月就会发现，真正拉开差距的是存活率。同样的投入，一个存活率八成、定期清理的池子，和一个存活率四成、从不整理的池子，能提供的有效入口页差一倍以上。与其把精力花在继续导入，不如先把失效页替换掉。
一个粗略的起步配比
没有通用公式，但可以给一个起步参考：入口页与目标页的比例，可以从 1:5 到 1:20 之间试起，具体看目标页的层级深浅。层级深、需要多跳才能到达的页面，往往需要更多入口页做分发；目标页本身已经有一定被抓取基础的，入口页可以少一些。这个比例只是起点，不是标准，最终还是要看爬虫日志里的变化。
用爬虫日志判断该加还是该停
加量之前，先看这几个信号：
- 新增 URL 的发现速度，是否随入口页增加而上升；
- 请求量的增长是否与入口页数量同步，还是很快进入平台期；
- 状态码分布里 200 的比例是否稳定，有没有大量 404、5xx 或超时；
- 蜘蛛是否只反复抓入口页，而很少继续往目标页走。
如果入口页翻倍、爬虫请求量却没变化，继续加量大概率只是在增加维护负担。这时候更值得做的是改善已有入口页的层级设计和链接路径，而不是继续铺量。
扩张节奏：小批量验证再放大
- 先上一小批，比如一百到三百页，观察一到两周的抓取情况。
- 确认状态码正常、蜘蛛确实进来了，再按批次放大，每次不超过上一批的两倍。
- 每批做好记录：导入时间、所在域名、页面模板、对应目标页，方便后面排查。
- 定期淘汰：连续多周没有被抓取、或响应长期异常的入口页，直接下线，不要留着充数。
几个常见误区
- 一次性铺完再不管：数字看着漂亮，几周后有效数掉一半，等于白做。
- 只比数量不看接入质量：模板粗糙、内容空白的入口页，抓取价值本来就低，铺再多也是低效消耗。
- 忽略真实成本：域名续费、服务器、维护时间都是实打实的支出，要提前算进去。
- 把入口页当成收录保证：入口页影响的是 URL 被发现的概率和路径，抓取之后是否索引、是否展现，仍要看目标页本身是否值得。
入口页规模不是越大越好，而是“当前维护得住的有效数量”越大越好。先守住存活率，再谈扩张。