不少人在搭建蜘蛛池入口页时会有一个直觉：一个页面里放的链接越多，搜索蜘蛛顺着爬到的目标 URL 就越多。这个想法只在很小的范围内成立，超过某个量级之后，链接数量增加带来的边际收益会迅速下降，甚至反过来拖慢发现速度。
链接数量和发现概率不是线性关系
搜索蜘蛛抓取一个页面时，会解析出页面里的所有链接，放进待抓取队列。但它并不会把所有链接都当成同等优先级的对象，也不会在同一个页面上无限投入资源。页面里的链接越多，每个链接分到的关注就越少，这是很自然的结果。
更现实的一层是：入口页上真正被优先抓取的，通常是页面主体区域、位置靠前、上下文相关的链接。剩下的长尾链接能不能被抓到，取决于这个页面的整体表现和搜索蜘蛛愿意给它多少抓取预算。
抓取预算是有限的
每个站点在搜索蜘蛛那里都有一份隐形的抓取配额，它会根据站点的历史表现、更新频率、响应速度、内容情况等因素动态调整。入口页本身如果是个内容稀薄的链接聚合页，能拿到的配额通常不会太高。
预算被稀释的常见表现
- 日志里同一个入口页被反复抓取，但每次只抓走前几条链接；
- 新增的目标 URL 几天甚至更久都不出现在抓取记录里；
- 抓取请求集中在少数几个 URL 上，其余链接长期没有访问记录。
出现这些情况，往往不是链接写错了，而是页面上的链接总量超出了搜索蜘蛛愿意在这个页面上花费的成本。
页面越大，单个链接越容易被忽略
还有一个容易被忽视的点：页面体积。放几百上千条链接，HTML 体积会明显变大，解析时间变长，入口页的响应速度也会受影响。速度慢、结构乱的页面，本身就会降低抓取频率，链接再多也难起作用。
什么样的数量区间更实际
没有一个通用的数字，因为不同站点的抓取配额差异很大。但可以从几个角度去把握：
- 按预算定数量：先看日志里入口页平均一次能抓走多少链接，把页面链接数量控制在这个量级附近，或者略高一点；
- 分页分层：链接多的时候，拆成几个入口页，用分页或列表页把它们串起来，而不是堆在一个页面上；
- 控制变更节奏：不要一次性往老入口页里灌入大量新链接，分批次加入通常更稳；
- 去掉重复和无效链接：同一目标 URL 在页面上出现多次，并不会增加被发现的机会。
数量之外更该关注的东西
链接能不能被发现，数量只是其中一个变量。入口页的可访问性、返回码是否正常、是否有 robots 限制、链接是不是标准 a 标签、目标 URL 本身是否可以被抓取，这些基础问题的影响往往比数量更大。链接很多但页面本身打不开或者被屏蔽，结果就是零。
把入口页当成一个需要被正常抓取和理解的普通页面来运营，比把它当成链接容器更接近实际效果。搜索蜘蛛愿意反复回访的页面，通常是有稳定更新、结构清晰、访问正常的页面。
一个常见的误区
有人会在一段时间发现效果不好，就不断往入口页里加链接，页面从几百条涨到几千条，结果抓取量不升反降。这时候更该做的是回头看日志：抓取频率是多少、哪些链接被抓了、抓取失败的返回码是什么。基于日志调整链接数量，比凭感觉加链接有效得多。
简单说，链接数量对发现概率有帮助，但存在明显的天花板。与其追求数量，不如把页面做小、做干净、保持可访问，让搜索蜘蛛每次来都愿意多抓几条。