搭建入口頁时，很多人的第一反應是“連結越多越好”——反正一個頁面能列几千條 URL，蜘蛛来一次就能带走一大批。實际執行一段時間後會發現，抓取量並没有随連結數线性增長，有些入口頁甚至越堆越少被抓。這篇把連結數量和抓取之間的關系说清楚。
搜尋蜘蛛没有“每頁連結上限”，但有抓取预算
先澄清一個流传很广的说法：Google、Bing 都没有公開過“一個頁面最多多少個連結”的硬性數字，所以並不存在“超過 100 個連結就不抓”這種規則。
但另一件事是真實存在的：每個站点、每個目錄在單位時間内能被抓取的次數有限，也就是常说的抓取预算。入口頁里的連結再多，蜘蛛也不會在一個時間窗内把每一個都訪問一遍，它會挑一部分先抓，剩下的留到後續。
連結堆到几千條时，通常會出現這些變化
1. 單條連結被跟進的概率下降
同样是抓一次，頁面里有 50 個連結和 5000 個連結，蜘蛛對每條連結的“注意力”完全不是一個量級。連結越多，越靠後、越没特点的 URL 越容易被跳過。
2. 入口頁自己吃掉了抓取配額
入口頁本身也要被抓、被重新抓。如果它体积很大、每次訪問内容還不一样，蜘蛛花在它身上的時間更多，留给其他頁面和目标站点的配額相應减少。
3. 容易被打上“連結列表頁”的标簽
如果入口頁几乎只有一長串連結，没有正文、锚文本高度重复、结构千篇一律，它更像一個導航或索引頁。這類頁面不是不能用，但指望它获得很高的抓取優先級並不現實。
比“放多少”更值得先解决的三件事
- 連結是否在初始 HTML 里。用 JavaScript 渲染出来的連結，發現概率本来就低于直接寫在 HTML 里的 a 标簽。
- 锚文本是否有差异。几千條一模一样的“点击這里”“查看更多”，對判断連結價值几乎没有帮助。
- 目标頁面是否可達。入口頁里大量 404、403 或跳轉鏈，會明顯拖慢蜘蛛在這個頁面上的推進速度。
相對稳妥的做法
- 單頁連結數控制在一個可讀的范围，几十到一两百條，通常比一口气堆几千條更容易被完整跟進。
- 把連結按主题、频道或時間分组，拆成多個入口頁，頁與頁之間用普通連結串起来。
- 每個入口頁保留一小段正文，哪怕只是分類說明，让頁面看起来有内容而不是纯列表。
- 同时提交站点地图，让蜘蛛除了顺着連結爬，還有一條獨立的發現路径。
- 新連結尽量放在頁面靠前、變化明顯的位置，舊連結沉下去，避免蜘蛛認為“這頁早就抓過了”。
怎么判断自己的入口頁是不是放過头了
最直接的办法是看服務器日誌：統計某個入口頁被抓取的總次數，以及其中有多少次抓的是它里面的目标 URL。如果入口頁被反复抓取，但里面的連結很少被跟進，說明頁面本身在消耗配額，而連結没被当成重点。
另一個信号是新增連結的抓取延迟。如果新加進去的 URL 要等很久才有第一次訪問，而减少單頁連結數之後延迟缩短，基本可以判断之前是放得太多。
連結數量只解决“有没有机會被發現”，不解决“值不值得留下”。入口頁的作用是提供發現路径，最终能不能進入索引，取决于目标頁面本身的质量和可訪問性。
所以，入口頁不必追求單頁連結越多越好。把連結放在能被解析的位置、保持锚文本和分组的差异、用日誌观察實际抓取结构，比單纯堆數量更有意义。