做蜘蛛池的时候，入口页上放多少条链接是个很容易被忽略的细节。放少了觉得浪费页面，放多了又担心蜘蛛直接走人。这个问题没有统一答案，但可以按几个变量来判断。
为什么没有固定数字
同一个数字放在不同站点上，结果可能完全不一样。决定出链数量的，主要是下面几件事：
- 页面本身的内容量。只有两三百字却挂了上百条链接，页面看起来就是一张链接列表；正文有一两千字，链接自然嵌进去，观感就完全不同。
- 蜘蛛的到访频率。先翻日志，看入口页一天被访问几次、每次抓走几个 URL。低频的情况下，放再多链接也带不走。
- 链接所在的位置。正文里出现的链接，被跟随的概率通常高于统一堆在页脚或侧栏的链接。
- 目标页的可抓取性。指向超时、跳转异常或需要登录的页面，放再多也是空转。
分布方式比总数更重要
同样是 30 条链接，集中成一块和分散在页面各处，蜘蛛看到的路径是不一样的。一个相对稳妥的摆法：
- 首屏放 1 到 3 条最想被带走的链接，位置要显眼，但不要做成导航墙。
- 正文中按内容自然插入，一条链接对应一段有意义的文字，锚文本不要全是同一个词。
- 侧栏和页脚只做补充，数量控制在总数的一小部分。
- 同一批入口页不要用完全一样的模板和链接顺序。蜘蛛连续抓几个页面看到几乎相同的内容，后续再来的意愿会下降。
几个常见的错法
- 认为链接越多抓得越多。页面上的链接超过蜘蛛单次愿意处理的量，多出来的部分通常不会被翻到。
- 用隐藏链接。display:none、字号为 0、颜色与背景一致这类做法，一旦被识别，整页的可信度都会受影响。
- 所有链接都指向同一个域名。路径过于集中，抓取分布会很单一。
- 链接长期不更新。入口页挂着的都是早就失效或已经被抓过的地址，蜘蛛再来也没有新东西可拿。
可以照着走的调整步骤
- 先按较小的数量上线，比如十几条，记录日志里实际被跟随了多少。
- 观察一到两周，如果链接被跟随的比例不错，再逐步增加数量。
- 每次只改一个变量，数量、位置或者锚文本，不要同时全动。
- 把长期不被跟随的链接换掉，而不是继续往上加。
- 给不同批次的入口页设置不同的链接结构和更新节奏，避免整站一个模子。
链接数量只是入口页的一个变量。蜘蛛愿不愿意顺着走下去，更多取决于页面本身是否有意义、目标页能不能正常打开。数量调对了，也只是把门开得合适一点。