站点做久了，容易有一種错觉：只要頁面發出去，蜘蛛迟早會来。實际情况是，搜尋引擎给每個站点分配的抓取资源是有限的，站点越大、地址越多，這份額度就越顯得不够用。所谓抓取预算，说的就是這件事——在單位時間里，蜘蛛愿意在你的站上花多少次請求。
预算不够的直接表現是：新發的文章迟迟不被抓，重要栏目頁的快照几個月没動静，而一些没價值的地址却被反复訪問。要改善它，思路不是催，而是先减少浪費，再把入口指清楚。
谁在消耗你的抓取预算
先把常见的浪費点列出来，對照自己的日誌看有没有中招：
- 參數地址：排序、篩選、追踪參數會為同一篇内容生成几十個地址。
- 站内搜尋结果頁：用戶搜尋词無穷無尽，蜘蛛顺着抓下去就是無底洞。
- 過深的分頁：列表頁翻到很後面，内容價值和抓取價值都很低。
- 重复與近似内容：同一篇文章挂在多個栏目下，没有做規范化處理。
- 软 404 和空列表：返回 200 却没有實质内容，蜘蛛来了白跑一趟。
- 慢响應與 5xx：响應時間一長，蜘蛛會主動降低訪問频率。
從服務器日誌看抓取分布
不要凭感觉判断，日誌里其實寫得很清楚。可以按下面的顺序看：
- 筛出蜘蛛的 UA，按天統計總請求數，看是否有明顯波動。
- 按目錄分组，看請求集中在哪些栏目，重点栏目占了多少比例。
- 按响應碼分组，統計 3xx、4xx、5xx 的占比，跳轉和错誤多不多。
- 按 URL 模式分组，找出被訪問次數最高的一批地址，通常落在參數頁或列表頁上。
- 挑几條高频低價值地址，回溯它是從哪個入口被發現的，把那個入口處理掉。
做完這一步，你大致能回答一個問题：如果這段時間只能给一千次抓取，我現在把多少次花在了几乎没有产出的頁面上。
把抓取引向重点栏目
减少浪費之後，還要主動告诉蜘蛛哪些頁面更值得花時間：
- 内鏈倾斜：重点栏目和重点文章，從首頁、栏目頁、相關文章里多给几條連結，連結出現的位置往往比數量更重要。
- 導航清晰：主導航和分類頁把主干结构固定下来，別让重要入口只藏在某個深层頁面里。
- 站点地图只放值得抓的：sitemap 是提示，不是保證。把低價值地址塞進去，反而稀释了信号。
- 控制入口數量：列表頁分頁、标簽頁、聚合頁都设一個合理上限，不要無限展開。
- 保持响應稳定：服務器快一点、少一点 5xx，蜘蛛自然愿意多来几趟。
几個常见的誤区
用 robots.txt 屏蔽重要頁面，以為這样能集中抓取，结果是把该被抓的挡在门外；频繁改動站点地图和提交入口，以為能催快收錄，實际上只會让抓取队列反复調整。
還有两種也值得注意：一是把希望寄托在多發布上，頁面數量翻倍但质量没變，预算只會更稀释；二是看到蜘蛛来得少就急着換域名，却忽略了日誌里早就有答案。
把它變成固定動作
抓取预算不是一次性的優化項，而是需要定期回顾的运营指标。建议每月做一次：統計各目錄被抓的次數，清理一批低價值地址，检查重点栏目的抓取占比有没有上升。資料不用很精细，能看出趋势就够了。
判断标准也很朴素：当新内容被發現的時間變短、重点栏目的抓取占比提高、错誤地址的請求下降，說明方向是對的。至于具体多久被收錄、排在什么位置，那是另一回事，不在這一步的讨论范围内。