先说结论：不會平均地全抓一遍
把几十上百個目标 URL 塞進同一個入口頁，是蜘蛛池里很常见的做法。很多人預設“頁面里有多少連結，搜尋蜘蛛就會抓多少 URL”。實际執行下来，日誌往往不是這样：有的連結很快被抓，有的几周都没動静，有的干脆一次都没出現過。原因不在于頁面寫得對不對，而在于搜尋蜘蛛處理連結时有自己的一套分配逻辑。
三件事决定單頁連結能抓到多少
1. 抓取预算不是按頁面連結數量發放的
搜尋蜘蛛给一個站点的抓取量，主要看站点規模、更新频率、响應速度和歷史质量，而且它對某個 URL 的抓取速度也受其他站点和整体調度影响，不是你能單方面设定的。所以入口頁里放 1000 條連結，不等于当天就會来 1000 次請求。連結越多，平摊到每個 URL 上的机會反而越少，不少連結會長期停在“已發現、未抓取”的狀態。
2. 同一個 URL 在多個位置出現會被合並
如果你在入口頁里用不同锚文本、不同路径形式（带參數、带锚点、大小寫不同）指向同一個目标，搜尋蜘蛛一般會做归一化處理，只按一個 URL 計算。看起来連結很多，實际可抓取的唯一 URL 數量可能只有你预期的一半甚至更少。批量做入口頁时，先自查一遍 URL 是否真正唯一。
3. 連結位置和上下文會影响被跟進的先後
在正文中間、周围有相關文字的連結，通常比塞在頁面底部一大片列表里的連結更容易被優先處理。纯列表、纯數字堆砌、锚文本全是“点击這里”這類，對搜尋蜘蛛来说信息量低，被跟進的意愿也會下降。
單頁放多少連結比較合适
没有硬性上限，但可以從经驗区間出發，再根據日誌調整：
- 常規内容頁：几十條以内，把和本頁主题相關的連結放在正文里。
- 列表型或索引型頁面：几百條是常见区間，建议按分類拆成若干頁，而不是全部堆在一頁。
- 上千條連結的單頁：可以存在，但通常只适合作為纯導航用途，不要指望每條都能被尽快抓取。
判断标准不是數字，而是日誌：观察入口頁被訪問的频率，以及從入口頁被带出去的 URL 數量，就能大致看出搜尋蜘蛛實际愿意“消費”多少。
几個常见誤区
- 連結越多，發現越快。連結數量和抓取次數不是线性關系，反而可能因為被稀释而整体變慢。
- 堆在頁脚也算數。頁脚連結能被解析，但優先級通常低于正文連結。
- 換了锚文本就是新連結。只要目标 URL 相同，通常算同一個。
- 入口頁更新越频繁越好。频繁改動會让搜尋蜘蛛反复重解析同一批連結，挤占本就有限的抓取額度。
把入口頁当成一份“目錄”，而不是“仓库”。目錄讲究的是分類清楚、指向明确，而不是把所有東西一次性倒出来。
可操作的調整方向
- 按主题拆分入口頁，每頁控制在一個能讀完的規模，頁面之間再做互相連結。
- 把最重要的目标 URL 放在正文靠前的位置，用描述性锚文本，而不是编号列表。
- 同一目标 URL 只保留一種寫法，去掉冗余參數和大小寫差异。
- 入口頁内容保持相對稳定，需要更新时批量改，不要今天加几條、明天删几條。
- 定期對日誌，對比“入口頁出現次數”和“目标 URL 被抓次數”，據此决定要不要再扩頁面。
最後提醒一句：入口頁做得再细，也只是提高被發現的概率。目标頁能否被處理、以什么形式出現，還取决于目标頁自身的内容和狀態，這两段最好分開看、分開調。