不少人在搭建蜘蛛池入口頁时會有一個直觉：一個頁面里放的連結越多，搜尋蜘蛛顺着爬到的目标 URL 就越多。這個想法只在很小的范围内成立，超過某個量級之後，連結數量增加带来的邊际收益會迅速下降，甚至反過来拖慢發現速度。

連結數量和發現概率不是线性關系

搜尋蜘蛛抓取一個頁面时，會解析出頁面里的所有連結，放進待抓取队列。但它並不會把所有連結都当成同等優先級的對象，也不會在同一個頁面上無限投入资源。頁面里的連結越多，每個連結分到的關注就越少，這是很自然的结果。

更現實的一层是：入口頁上真正被優先抓取的，通常是頁面主体区域、位置靠前、上下文相關的連結。剩下的長尾連結能不能被抓到，取决于這個頁面的整体表現和搜尋蜘蛛愿意给它多少抓取预算。

抓取预算是有限的

每個站点在搜尋蜘蛛那里都有一份隐形的抓取配額，它會根據站点的歷史表現、更新频率、响應速度、内容情况等因素動態調整。入口頁本身如果是個内容稀薄的連結聚合頁，能拿到的配額通常不會太高。

预算被稀释的常见表現

• 日誌里同一個入口頁被反复抓取，但每次只抓走前几條連結；
• 新增的目标 URL 几天甚至更久都不出現在抓取记錄里；
• 抓取請求集中在少數几個 URL 上，其余連結長期没有訪問记錄。

出現這些情况，往往不是連結寫错了，而是頁面上的連結總量超出了搜尋蜘蛛愿意在這個頁面上花費的成本。

頁面越大，單個連結越容易被忽略

還有一個容易被忽视的点：頁面体积。放几百上千條連結，HTML 体积會明顯變大，解析時間變長，入口頁的响應速度也會受影响。速度慢、结构乱的頁面，本身就會降低抓取频率，連結再多也难起作用。

什么样的數量区間更實际

没有一個通用的數字，因為不同站点的抓取配額差异很大。但可以從几個角度去把握：

• 按预算定數量：先看日誌里入口頁平均一次能抓走多少連結，把頁面連結數量控制在這個量級附近，或者略高一点；
• 分頁分层：連結多的时候，拆成几個入口頁，用分頁或列表頁把它們串起来，而不是堆在一個頁面上；
• 控制變更节奏：不要一次性往老入口頁里灌入大量新連結，分批次加入通常更稳；
• 去掉重复和無效連結：同一目标 URL 在頁面上出現多次，並不會增加被發現的机會。

數量之外更该關注的東西

連結能不能被發現，數量只是其中一個變量。入口頁的可訪問性、返回碼是否正常、是否有 robots 限制、連結是不是标准 a 标簽、目标 URL 本身是否可以被抓取，這些基础問题的影响往往比數量更大。連結很多但頁面本身打不開或者被屏蔽，结果就是零。

把入口頁当成一個需要被正常抓取和理解的普通頁面来运营，比把它当成連結容器更接近實际效果。搜尋蜘蛛愿意反复回訪的頁面，通常是有稳定更新、结构清晰、訪問正常的頁面。

一個常见的誤区

有人會在一段時間發現效果不好，就不断往入口頁里加連結，頁面從几百條涨到几千條，结果抓取量不升反降。這时候更该做的是回头看日誌：抓取频率是多少、哪些連結被抓了、抓取失敗的返回碼是什么。基于日誌調整連結數量，比凭感觉加連結有效得多。

简單说，連結數量對發現概率有帮助，但存在明顯的天花板。與其追求數量，不如把頁面做小、做干净、保持可訪問，让搜尋蜘蛛每次来都愿意多抓几條。