搜尋引擎能分给一個站点的抓取次數是有限的，這個額度通常被叫做抓取预算（crawl budget）。它不是一個固定數字，而是爬虫在排队、带宽、站点质量和連結權重之間做出的動態取舍。蜘蛛池做的事情，本质上是在有限的预算里，把爬虫的注意力引到你想让它看到的目标頁上。

抓取预算在蜘蛛池里被谁花掉了

很多运营者只盯着“目标頁被爬了多少次”，但爬虫每次来訪都是按頁面逐個消費预算的。一個池子里大致有三類頁面在分這筆帳：

• 入口頁：爬虫進入池子的第一站，通常是被外鏈、sitemap 或歷史记錄带過来的。
• 中間頁：入口頁到目标頁之間的跳板，包括栏目頁、聚合頁、分頁。
• 目标頁：真正希望被發現的落地頁。

如果入口頁數量很多、每個都要抓一遍，预算會先被入口頁吃掉；如果中間頁层級太深，爬虫走两跳就停下，目标頁同样拿不到几次訪問。

一個可落地的分配思路

入口頁要“轻”

入口頁的作用是被發現，不是被反复讀。頁面別塞太多内容，也別放大量指向站外的連結，否則爬虫在這里停留的時間變長，能分给後面的次數就少了。入口頁的更新频率也不必很高，稳定比频繁更重要。

中間頁要“短”

從入口頁到目标頁，尽量控制在一到两跳。每多一层，爬虫放弃的概率都會上升。常见顺序是：入口頁 → 列表頁 → 目标頁；超過三层时，就要考虑把列表頁合並，或者让入口頁直接指向目标頁。

目标頁要“稳”

目标頁至少要能被正常打開，返回 200，並且有實际内容。一個经常 503、跳轉失敗或内容空白的頁面，會让爬虫降低對整個站点的抓取意愿，池子里其他頁面的预算也會跟着被压缩。

几個常见的誤判

• 抓取量涨了就是好事：如果涨的是入口頁和無效頁，目标頁的抓取次數並没有變，那只是预算被浪費了。
• 入口頁越多越好：入口頁數量超過爬虫的日常抓取能力时，每個頁面被訪問的間隔會拉長，效果反而變差。
• 目标頁只管引、不管接：预算到了目标頁却被慢响應或错誤狀態碼挡住，相当于白白放弃一次机會。

抓取预算不是靠堆頁面堆出来的，而是靠把有限的訪問次數導向更有價值的 URL。

怎么观察预算的去向

看訪問日誌是最直接的办法。按 URL 分组統計爬虫的訪問次數，把入口頁、中間頁、目标頁分開看，就能知道预算大致花在哪里。重点看三個指标：目标頁訪問次數占總抓取的比例、入口頁的平均抓取間隔、目标頁的错誤狀態碼比例。

如果目标頁的占比長期偏低，可以從两個方向調整：一是减少入口頁數量，把外鏈和 sitemap 集中到少數几個稳定的入口；二是缩短入口頁到目标頁的路径，去掉没有實际作用的中間层。調整之後观察一到两周，再看日誌里的比例有没有變化。

需要提醒的是，抓取预算只影响“爬虫来不来看”，不直接影响收錄和排名。頁面能不能被收錄、能不能排上去，還要看内容质量、站点整体表現和搜尋需求本身。把预算分配做好，只是让 URL 發現這一步更顺畅。