聊蜘蛛池的时候，很多人第一反應是入口頁越多越好。但真正决定效果的，是入口頁數量和目标頁數量之間的比例關系：铺得太少，蜘蛛發現不了几個連結；铺得太多，抓取预算被摊薄，每個入口頁都只被草草看一眼，谁也没被真正爬進去。這篇文章讲的就是怎么從目标頁倒推入口頁規模。
第一步：先數清楚要發現的 URL 有多少
在决定入口頁數量之前，先列一份真實需要被發現的 URL 清單，通常分成三類：
- 主站的栏目頁和詳情頁，這是長期需要被持續抓取的部分；
- 新上线、還没被蜘蛛訪問過的頁面，属于阶段性需求；
- 歷史沉睡頁，需要重新唤起的舊連結。
三類加起来的數量級，直接决定了後面的入口頁量級。是几百個還是几萬個，處理方式完全不同。如果连清單都没有，入口頁就只能凭感觉铺，最後难免變成一堆没人爬的死連結。
入口頁是通道，不是资产。它的價值体現在被爬到、並且被繼續往下爬，而不是頁面本身有多少。
第二步：單個入口頁适合承载多少連結
一個入口頁上挂多少條連結，直接影响到蜘蛛會不會顺着往下走。经驗区間大致是：
- 3 到 10 條主連結，是相對稳妥的区間，蜘蛛容易逐條訪問；
- 十几條到几十條也可以，但建议分组呈現，避免一整片連結堆在同一個位置；
- 几百條平铺在一頁上，實际能被爬到的往往只有靠前的一部分，後面的基本是陪跑。
同理，一個入口頁只挂一两條連結也是浪費，等于用一整個頁面的抓取机會換了一次跳轉。
第三步：用跳數換算入口頁數量
入口頁到目标頁之間隔了几跳，對最终效果影响很大：
- 一跳：入口頁直接指向目标頁，鏈路最短，蜘蛛走完全程的概率最高；
- 两跳：入口頁指向中間聚合頁，再由聚合頁指向目标頁，多一次点击就多一次流失；
- 三跳及以上：除非中間层本身有足够吸引力，否則大部分蜘蛛會在中途停下。
據此可以做一個粗略估算：入口頁數量 ≈ 目标 URL 數 ÷ 單個入口頁有效連結數 ÷ 跳數衰减系數。两跳结构下，衰减系數按 0.6 到 0.8 估算是比較常见的做法。這個公式不是為了算出精确數字，而是帮你判断量級——比如几萬個目标頁配几十個入口頁，明顯是失衡的。
第四步：規模不是一次定死的
更稳妥的做法是先小批量铺，再看資料調整。值得观察的信号包括：入口頁被訪問的频次、目标頁首次被抓的時間間隔、目标頁後續有没有被回訪。如果入口頁自己都很久没被訪問過，那說明前面的假设已经出問题了，此时繼續扩容只是放大浪費。
三個容易踩的坑
- 比例失衡。入口頁和目标頁數量差距過大，入口頁承担不了這個發現量，最後只能靠少數頁面反复被抓。
- 連結堆砌。一個入口頁平铺几百條連結，位置随机排列，蜘蛛每次来看到的内容還不一样，等于把有限的抓取次數分散掉了。
- 反复重建。舊的入口頁不维護，過一阵直接換一批新的，之前积累的抓取节奏全部作废，蜘蛛又要重新認识這批頁面。
實际操作建议
- 按主题给目标頁分组，一组目标頁對應一批入口頁，方便控制比例。
- 入口頁之間做适度轮換，但保留一部分長期稳定、结构简單的導航型入口頁。
- 把入口頁的訪問日誌和目标頁的抓取情况放在一起看，而不是只看入口頁有没有被爬。
- 每次扩容都留出观察期，確認新增入口頁确實带来了新的 URL 發現，再决定要不要繼續加。
入口頁規模没有标准答案，它取决于站点体量、蜘蛛的来訪频率和目标頁的更新节奏。與其拍脑袋定一個數字，不如先把目标頁清單列出来，按單頁承载量和跳數粗略倒推一遍，再用小批量測試去驗證。测准了再放量，比一上来铺几千個頁面要省事得多。