搭一个蜘蛛池入口页，很多人第一反应是“多放链接”——一页塞几百条，觉得蜘蛛来得次数有限，一次多带走一些才划算。实际跑一段时间会发现，链接堆得越多的页面，被抓的链接并不一定越多，反而常常出现头部几条有访问、后面大片长期无人问津的情况。这篇就从出链数量和链接密度两个角度，说说入口页的链接该怎么摆。
出链数量多了会怎样
蜘蛛抓取一个页面后，会把页面上的链接提取出来放进待抓队列，再按自己的调度节奏决定先抓谁、隔多久抓一次。这个过程里有两个现实约束：
- 单页的抓取预算是有限的。链接越多，每个链接能分到的关注就越少，容易被排到很后面甚至被放弃。
- 链接之间会互相稀释。如果一页里混着大量长期不变的链接，新加的链接不容易被单独识别出来。
换句话说，一页放 30 条链接和放 300 条链接，被抓取的总条数不一定成比例增长，但页面“链接堆砌”的特征会明显增强。所以入口页的出链数量，更适合按“可控、可观察”来设定，而不是越多越好。
链接密度比链接数量更值得关注
同样是 50 条链接，页面里有一千字正文，和只有标题加链接，给蜘蛛的观感完全不同。链接密度大致可以理解成链接数量与页面正文字数的比例。
纯链接页、正文只有一两句的桥页，是最容易被判定为低质量入口页的形态。链接本身不是问题，缺少正文支撑的链接才是。
如果一个页面确实需要承载大量 URL，比较稳妥的做法是给它配上真实、可读的正文或分类说明，让链接成为正文的延伸，而不是页面的全部内容。
用分层结构分摊链接压力
与其把所有 URL 挤在入口页，不如拆成两层甚至三层：
- 入口页：只放少量核心链接，指向中间层，出链数量控制在几十条以内。
- 中间层（分类页、列表页）：承担大部分链接分发，每个页面各自带一部分 URL，页面之间有内容上的区分。
- 目标页：真正希望被访问的页面，通过中间层被间接发现。
这样做的好处是每一层的链接数量都可控，蜘蛛沿着路径逐层推进，不容易在一个页面上被大量链接“卡住”。同时中间层页面本身也有内容，被持续抓取的可能性更高。
几个具体的操作建议
- 同一 URL 在页面上只出现一次。重复链接不会带来额外抓取机会，反而会挤占其他链接的位置。
- 用标准的 a 标签 href。JS 拼接、onclick 跳转、需要交互才展开的链接，蜘蛛不一定能拿到。
- 不要滥用 nofollow。给站外链接加 nofollow 是常规做法，但对池内想要被发现的链接加 nofollow，等于自己把路堵上。
- 链接文本尽量与目标页相关。一致的锚文本和上下文，能帮助蜘蛛理解链接指向什么内容。
- 链接顺序有一定影响。靠前的位置相对更容易被抓，把最重要的 URL 放前面即可，不必过度设计。
- 定期清理失效链接。404、超时、跳转到无关页面的链接留在页面上，只会浪费每次抓取的机会。
怎么判断链接安排是否合理
光看页面结构看不出效果，还是要回到日志和访问记录：
- 看每个 URL 的抓取次数分布。如果少数几条反复被抓、其余长期为零，多半是链接太靠后或页面链接过多。
- 看被抓的是不是你想要的那些 URL。如果蜘蛛总在抓导航、页脚、翻页这类模板链接，说明正文区的链接没有被有效识别。
- 看新加链接的首次抓取时间。明显变慢时，先检查是不是入口页出链数量又堆上去了。
出链数量和链接密度没有放之四海皆准的数字，不同体量、不同抓取频次的池子差别很大，也没有任何数字能保证被抓。比较务实的做法是：把入口页的链接控制在能一条条看清楚的规模，把批量分发交给中间层，然后根据日志反馈慢慢调整，而不是一开始就追求“一页塞满”。