做蜘蛛池投放的人，经常會有一種直觉：入口頁上放的連結越多，被搜尋蜘蛛發現的目标 URL 就越多。于是有人把同一個入口頁塞進几百甚至上千條連結，期待一次抓取全部带走。實际日誌里的结果往往不是這样——入口頁被频繁抓取，但目标 URL 的覆盖並不成比例。這篇文章说清楚入口頁連結數量和搜尋抓取之間的關系，以及更稳妥的做法。
搜尋蜘蛛不會只抓前 N 條，但抓取會衰减
先明确一点：搜尋引擎並没有公布單頁連結數量上限。所谓的忽略，通常不是硬性截断，而是抓取资源分配的结果。蜘蛛解析一個頁面後，會對連結排队，能不能抓到、什么时候抓到，取决于頁面本身的抓取频次、連結在頁面中的位置、連結是否可正常解析，以及目标 URL 的歷史表現。
当入口頁連結數量遠超這個頁面的抓取價值时，排队就會變長。日誌里常见的表現是：入口頁被抓了，但当天只带走了一小部分目标 URL，剩下的要等下一轮甚至更久。
真正影响連結被跟的几個因素
- 連結是否可解析：必须是带 href 属性的普通 a 标簽連結，JS 注入、需要点击触發、被 nofollow 标记的連結，被跟的概率都會明顯下降。
- 連結位置：正文内、主体区域的連結，通常比頁脚、侧邊栏大量堆叠的連結更容易被優先處理。
- 入口頁本身的质量：一個長期不更新、内容稀薄的入口頁，抓取频次本身就低，放再多連結也带不走。
- 目标 URL 的响應：目标頁返回 5xx、長時間超时，會拖慢整批連結的處理节奏。
連結放多少條比較合适
没有放之四海皆准的數字，但可以按入口頁的實际抓取能力来倒推。一個務實的思路是：先看日誌，確認這個入口頁平均每天被抓多少次、每次大约带走多少條連結，再决定單頁放多少條。如果入口頁每天被抓两三次，單頁放上千條連結，绝大多數連結只能排队等待。
對多數中小站点来说，把單頁連結控制在几十條到一两百條之間，配合多個入口頁分批投放，通常比單頁堆量更稳。連結之間有主题相關性、指向的頁面质量接近，也能减少無效排队。
連結過多时常见的几個信号
- 入口頁抓取次數不低，但目标 URL 在日誌里的出現比例很低；
- 同一批目标 URL 的抓取時間被拉得很長，從几天變成几周；
- 部分目标 URL 只在第一次被抓，之後長期没有再次訪問。
出現這些信号时，不要急着加大投放量，先检查入口頁連結是否過于密集、是否有大量無效或重复連結。
比堆數量更值得做的几件事
- 把入口頁拆成多個，按主题或目錄分组，让每個入口頁承担有限的連結數量；
- 保持入口頁有正常的内容更新，而不是只作為連結列表存在；
- 分批投放，观察日誌中目标 URL 的抓取反馈，再决定下一批的节奏；
- sitemap 與投放各司其职，sitemap 负责稳定提交，入口頁负责增加發現路径。
連結數量本身不是問题，問题是入口頁能不能承受這些連結带来的抓取排队。把入口頁当成連結仓库而不是可抓取頁面，通常是效果打折的開始。
回到最初的問题：搜尋蜘蛛不會因為你放了 500 條連結就直接忽略整頁，但抓取资源有限，連結越多，單條連結被處理到的概率和時間成本就越不可控。與其在單頁上堆量，不如把入口頁做得更像正常頁面，再通過多個入口頁和稳定更新来扩大 URL 的發現面。