聊蜘蛛池的时候，很多人第一反应是入口页越多越好。但真正决定效果的，是入口页数量和目标页数量之间的比例关系：铺得太少，蜘蛛发现不了几个链接；铺得太多，抓取预算被摊薄，每个入口页都只被草草看一眼，谁也没被真正爬进去。这篇文章讲的就是怎么从目标页倒推入口页规模。
第一步：先数清楚要发现的 URL 有多少
在决定入口页数量之前，先列一份真实需要被发现的 URL 清单，通常分成三类：
- 主站的栏目页和详情页，这是长期需要被持续抓取的部分；
- 新上线、还没被蜘蛛访问过的页面，属于阶段性需求；
- 历史沉睡页，需要重新唤起的旧链接。
三类加起来的数量级，直接决定了后面的入口页量级。是几百个还是几万个，处理方式完全不同。如果连清单都没有，入口页就只能凭感觉铺，最后难免变成一堆没人爬的死链接。
入口页是通道，不是资产。它的价值体现在被爬到、并且被继续往下爬，而不是页面本身有多少。
第二步：单个入口页适合承载多少链接
一个入口页上挂多少条链接，直接影响到蜘蛛会不会顺着往下走。经验区间大致是：
- 3 到 10 条主链接，是相对稳妥的区间，蜘蛛容易逐条访问；
- 十几条到几十条也可以，但建议分组呈现，避免一整片链接堆在同一个位置；
- 几百条平铺在一页上，实际能被爬到的往往只有靠前的一部分，后面的基本是陪跑。
同理，一个入口页只挂一两条链接也是浪费，等于用一整个页面的抓取机会换了一次跳转。
第三步：用跳数换算入口页数量
入口页到目标页之间隔了几跳，对最终效果影响很大：
- 一跳：入口页直接指向目标页，链路最短，蜘蛛走完全程的概率最高；
- 两跳：入口页指向中间聚合页，再由聚合页指向目标页，多一次点击就多一次流失；
- 三跳及以上：除非中间层本身有足够吸引力，否则大部分蜘蛛会在中途停下。
据此可以做一个粗略估算：入口页数量 ≈ 目标 URL 数 ÷ 单个入口页有效链接数 ÷ 跳数衰减系数。两跳结构下，衰减系数按 0.6 到 0.8 估算是比较常见的做法。这个公式不是为了算出精确数字，而是帮你判断量级——比如几万个目标页配几十个入口页，明显是失衡的。
第四步：规模不是一次定死的
更稳妥的做法是先小批量铺，再看数据调整。值得观察的信号包括：入口页被访问的频次、目标页首次被抓的时间间隔、目标页后续有没有被回访。如果入口页自己都很久没被访问过，那说明前面的假设已经出问题了，此时继续扩容只是放大浪费。
三个容易踩的坑
- 比例失衡。入口页和目标页数量差距过大，入口页承担不了这个发现量，最后只能靠少数页面反复被抓。
- 链接堆砌。一个入口页平铺几百条链接，位置随机排列，蜘蛛每次来看到的内容还不一样，等于把有限的抓取次数分散掉了。
- 反复重建。旧的入口页不维护，过一阵直接换一批新的，之前积累的抓取节奏全部作废，蜘蛛又要重新认识这批页面。
实际操作建议
- 按主题给目标页分组，一组目标页对应一批入口页，方便控制比例。
- 入口页之间做适度轮换，但保留一部分长期稳定、结构简单的导航型入口页。
- 把入口页的访问日志和目标页的抓取情况放在一起看，而不是只看入口页有没有被爬。
- 每次扩容都留出观察期，确认新增入口页确实带来了新的 URL 发现，再决定要不要继续加。
入口页规模没有标准答案，它取决于站点体量、蜘蛛的来访频率和目标页的更新节奏。与其拍脑袋定一个数字，不如先把目标页清单列出来，按单页承载量和跳数粗略倒推一遍，再用小批量测试去验证。测准了再放量，比一上来铺几千个页面要省事得多。