很多人做蜘蛛池时，习惯把能想到的 URL 全部堆到入口頁上，觉得放得越多，被發現的概率越大。實际跑一段時間後常會發現，連結堆得最满的那個頁面，目标頁反而迟迟没有動静。原因不复杂：入口頁承载的連結越多，單個連結能分到的抓取机會越少，頁面本身的主题也越模糊。這篇聊的是入口頁的容量問题——一個頁面大概放多少目标 URL 更合适，超了之後该怎么拆。
為什么入口頁會存在容量上限
蜘蛛抓取一個頁面後，會從頁面里提取連結並放進待抓队列。這個队列不是無限的，它受站点整体權重、抓取预算、頁面响應速度共同影响。入口頁上的連結越多，排在後面的連結被跟進的時間就越晚，轮到的概率也被摊薄。
另一個容易被忽略的点是主题集中度。一個入口頁如果同时挂着新闻、商品、下载、活動、论坛帖，蜘蛛很难判断這個頁面到底在讲什么，頁面本身能获得的抓取频率也上不去。相反，連結都指向同一類内容的入口頁，反而更容易被稳定抓取。
几個可以參考的數量区間
- 30–80 條：多數中小站点的入口頁落在這個区間比較稳，連結容易被抓到，頁面主题也不至于散。
- 100–200 條：前提是入口頁本身已经有稳定的抓取频次，服務器响應快，頁面内容不是纯連結列表。
- 超過 300 條：建议拆分。可以按主题或頁面類型分成多個入口頁，而不是硬撑在一個頁面上。
這些數字只是參考区間，不是标准。真正决定承载量的是入口頁自己的抓取反馈，而不是別人的经驗值。
除了數量，還要看連結密度與分布
同样放 100 條連結，分布方式不同，效果差別很大。可以留意几個细节：
- 正文内容與連結的比例。整頁几乎全是連結、没有實质文字，蜘蛛對頁面的價值判断會偏低。
- 連結是否集中在頁面前半部分。後半部分如果長期處于折叠或懒加载狀態，可能根本不會被抓取到。
- 同一個目标域名在一頁里重复出現多少次。同一域名刷太多條，實际收益很小，還挤占了其他連結的位置。
- 是否每段都插連結。段落被連結切碎之後，頁面讀起来更像連結堆。
入口頁该怎么拆分
- 按主题分组。把内容相近的目标頁归到同一個入口頁，让頁面有一個大致清晰的方向。
- 按目标頁類型分组。新 URL、老 URL、活動頁的抓取需求不同，混在一起會让優先級的判断失效。
- 每個分组给一個獨立入口頁，各自维護更新节奏，互相不干扰。
- 入口頁之間保持极少的互鏈，或者干脆不互鏈，避免蜘蛛在两三個頁面之間来回打轉。
- 上线後先观察日誌，再决定要不要合並或繼續细分。
承载量不是一次定死的
比較常见的做法是先小批量上线，再按抓取反馈加量。可以看几個信号：入口頁被抓取後，目标頁在多久之後有第一次抓取；目标頁被抓到的比例大概是多少；入口頁的抓取频次有没有随着連結增加而下降。
如果入口頁每天都被抓，但目标頁長期没有動静，通常說明两個問题之一：連結太多導致排队靠後，或者路径太深導致蜘蛛跟不動。這时候應该减量或拆頁，而不是繼續往里加。反過来，如果目标頁很快就被跑完一轮，入口頁的抓取频次也還有余量，那可以适当增加一些連結。
容量是跑出来的结果，不是事先设定的參數。一次堆满看起来省事，但出了問题很难判断是連結的問题、路径的問题，還是内容的問题。
常见的几個誤区
- 以為連結越多，發現越快。實际是排在後面的連結被跟進的間隔被拉長。
- 一個入口頁塞進所有類型的 URL，图省事，结果頁面主题全散。
- 只加不减。老 URL 已经抓過很多次，還長期占着位置，新 URL 反而排不上。
- 為了凑數寫大量無意义的锚文本，連結是有了，頁面质量却下去了。
把入口頁当成一個需要维護的頁面，而不是一個連結容器，容量這個問题其實就好處理了：先确定它负责哪一類目标頁，再根據抓取日誌慢慢調到合适的量級。