做蜘蛛池的时候，入口頁上放多少條連結是個很容易被忽略的细节。放少了觉得浪費頁面，放多了又担心蜘蛛直接走人。這個問题没有统一答案，但可以按几個變量来判断。
為什么没有固定數字
同一個數字放在不同站点上，结果可能完全不一样。决定出鏈數量的，主要是下面几件事：
- 頁面本身的内容量。只有两三百字却挂了上百條連結，頁面看起来就是一張連結列表；正文有一两千字，連結自然嵌進去，观感就完全不同。
- 蜘蛛的到訪频率。先翻日誌，看入口頁一天被訪問几次、每次抓走几個 URL。低频的情况下，放再多連結也带不走。
- 連結所在的位置。正文里出現的連結，被跟随的概率通常高于统一堆在頁脚或侧栏的連結。
- 目标頁的可抓取性。指向超时、跳轉異常或需要登入的頁面，放再多也是空轉。
分布方式比總數更重要
同样是 30 條連結，集中成一块和分散在頁面各處，蜘蛛看到的路径是不一样的。一個相對稳妥的摆法：
- 首屏放 1 到 3 條最想被带走的連結，位置要顯眼，但不要做成導航墙。
- 正文中按内容自然插入，一條連結對應一段有意义的文字，锚文本不要全是同一個词。
- 侧栏和頁脚只做补充，數量控制在總數的一小部分。
- 同一批入口頁不要用完全一样的模板和連結顺序。蜘蛛连續抓几個頁面看到几乎相同的内容，後續再来的意愿會下降。
几個常见的错法
- 認為連結越多抓得越多。頁面上的連結超過蜘蛛單次愿意處理的量，多出来的部分通常不會被翻到。
- 用隐藏連結。display:none、字号為 0、颜色與背景一致這類做法，一旦被识別，整頁的可信度都會受影响。
- 所有連結都指向同一個域名。路径過于集中，抓取分布會很單一。
- 連結長期不更新。入口頁挂着的都是早就失效或已经被抓過的地址，蜘蛛再来也没有新東西可拿。
可以照着走的調整步骤
- 先按較小的數量上线，比如十几條，记錄日誌里實际被跟随了多少。
- 观察一到两周，如果連結被跟随的比例不错，再逐步增加數量。
- 每次只改一個變量，數量、位置或者锚文本，不要同时全動。
- 把長期不被跟随的連結換掉，而不是繼續往上加。
- 给不同批次的入口頁設定不同的連結结构和更新节奏，避免整站一個模子。
連結數量只是入口頁的一個變量。蜘蛛愿不愿意顺着走下去，更多取决于頁面本身是否有意义、目标頁能不能正常打開。數量調對了，也只是把门開得合适一点。