搭蜘蛛池的时候，很多人把精力花在域名、IP、模板这些地方，却很少认真想过一个问题：一个入口页上，到底该放多少条指向目标页的链接？放少了，爬虫来了走两步就没路了；放多了，页面看起来像一份批量导出的清单，爬虫也未必愿意顺着往下点。
没有标准答案，但有可观察的区间
搜索引擎公开的文档里不会给出“一页最多多少条链接”这样的数字，因为判断依据从来不是数量本身，而是这个数量在页面上呈现出来的样子。同样是一百条链接，一个整理得清楚、有分类有说明的页面，和一个只有裸链接的列表，得到的对待是不一样的。
从实际观察来看，入口页的出站链接控制在几十条以内，通常更容易让爬虫把页面处理完；超过这个量级，就要格外留意页面结构还撑不撑得住。这只是一个起点，不是标准线，真正的依据要回到自己站点的访问日志里去找。
两个极端都不好用
太密：一页堆几百条
把所有目标页都塞进同一个入口页，表面上爬虫一次性能看到全部 URL，实际上往往会带来几个副作用：单页体积变大、渲染变慢，爬虫在有限时间内能处理完的内容变少；页面主题被打散，链接之间缺少语义关联；一旦其中一部分链接指向低质量页面，整个入口页的评价也会被拖下去。
更稳妥的做法是拆：按主题、按时间、按字母顺序，把目标页分散到多个入口页上，再用少量链接把入口页互相串起来，让爬虫有路径可走，而不是把压力集中在一个页面上。
太稀：一页只放一两条
另一个极端是为了“看起来自然”而刻意少放，结果爬虫每次来只能多发现一两个 URL，发现效率极低，需要维护的入口页数量成倍增加。如果入口页本身还缺少内容支撑，这种页面同样很难被反复抓取。
位置和上下文，比总数更值得花心思
同一条链接，放在正文段落里、放在侧边推荐里、放在页脚列表里，爬虫对待的权重是不一样的。入口页可以有列表，但尽量别整页都是列表。
- 正文内的链接：给一句说明，写清楚点过去能看到什么，链接文字和上下文有实际关系。
- 分类区块：把目标页按主题分组，每组十条左右，配上小标题。
- 页脚汇总：可以放全量链接，但要接受它在权重上的劣势，把它当作补充通道，而不是主通道。
判断当前密度合不合适，看三件事
- 爬虫是否真的顺着链接往下走：看目标页的抓取量占入口页抓取量的比例，比例长期极低，说明链接没有被有效处理。
- 入口页本身的抓取频次：如果入口页都很少被访问，先解决入口页可抓取价值的问题，再谈链接数量。
- 目标页的抓取分布：是相对均匀地散开，还是集中在少数几个链接上。过度集中，通常意味着页面结构或位置把爬虫的注意力引偏了。
几条可以落地的建议
- 新池子从每页二三十条链接起步，观察一到两周再决定加还是减。
- 入口页要有自己的内容，哪怕是简短的分类说明，也别做成纯链接页。
- 链接数量的调整要小步走，一次翻倍或者砍半，日志上很难分清到底是谁的影响。
- 把链接数量、页面体积、抓取结果放在同一张表里对照着看，比只盯着某一个数字有用得多。
入口页的链接数量只是手段，真正要回答的问题是：爬虫来一次，能不能顺顺利利地把该发现的 URL 都发现掉，并且愿意下次再来。