很多人以為，只要把連結放進蜘蛛池，蜘蛛就會挨個把目标頁爬一遍。實际翻日誌會發現完全不是這样：有的目标頁一天被爬十几次，有的挂了几周都没人理。這背後是抓取预算的分配問题。
抓取预算不是配額，而是權衡结果
搜尋引擎给站点分配的抓取量，並不是一個固定配額，而是根據站点质量、更新频率、响應速度、歷史抓取收益等條件综合權衡出来的大致范围。蜘蛛池提供的是一個更密集的 URL 發現入口，它改變的是“蜘蛛能不能看到連結”，而不是“蜘蛛一定會爬”。
換句话说，蜘蛛池能做的是把候選 URL 送到蜘蛛面前，真正决定爬不爬、爬多深的，仍然是目标站自身的基础條件。
蜘蛛池里，预算消耗在哪里
- 入口頁本身：入口頁數量遠大于目标頁时，大部分抓取會停在入口层。
- 重复發現的同一 URL：几十個入口指向同一個目标頁，去重後往往只算少數几次有效發現。
- 低價值頁面：纯中轉頁、空内容頁，蜘蛛爬過一次就不再回来。
- 超时與错誤：慢响應和 5xx 會直接拖低整站的抓取意愿。
為什么有些目标頁被反复抓
常见原因有几類：目标頁内容變化频繁、被内鏈密集指向、所在域名本身抓取频率較高，或者刚好落在蜘蛛的回訪周期里。反過来，長期没被動過的頁面，多半是首次抓取後没有新信号，蜘蛛判断不值得再来。
几個常见誤区
- 入口頁越多越好。入口頁數量暴涨會稀释预算，效果可能不升反降。
- 把所有頁面平铺進去。没有優先級，蜘蛛只能随机抓，重要頁面容易被挤掉。
- 只看是否被抓。被抓不等于被收錄，抓取只是第一步。
- 频繁改動入口頁。改動本身會触發重新抓取，改得太勤會把预算耗在入口頁上。
让预算花在刀刃上的做法
- 目标頁分級：把最需要被抓的頁面放在最短鏈路、最稳定的入口上。
- 控制入口頁規模：與其铺一萬個相似入口，不如把几百個入口做扎實。
- 减少重复發現：同一目标頁不要让大量入口同时指向。
- 保證可抓性：狀態碼正常、响應稳定、不依赖 JS 也能拿到目标連結。
- 用日誌驗證：按周統計目标頁的抓取次數，看预算是否流到了你想要的位置。
值得長期观察的指标
- 目标頁從上线到首次被抓的間隔
- 同一 URL 的复抓频率
- 入口頁抓取量與目标頁抓取量的比例
- 抓取過程中的超时和错誤比例
這些資料比“今天蜘蛛来了多少次”更有參考價值。如果目标頁的抓取占比長期偏低，說明预算大多停在入口层，需要重新审视鏈路结构和入口頁质量，而不是繼續加量。
抓取预算本质上是一種有限的注意力。蜘蛛池的作用是提高被注意到的概率，而不是保證每個頁面都被認真看完。