抓取预算是什么，為什么蜘蛛池要關心
搜尋引擎蜘蛛每天能抓取的頁面數量是有限的，這個額度通常被称為抓取预算（crawl budget）。它不是一個固定數字，而是搜尋引擎根據站点規模、更新频率、响應速度、内容质量和歷史抓取表現動態给出的一個大致范围。
對蜘蛛池来说，這個問题尤其突出：一個入口站点上往往挂着成百上千個入口頁，但蜘蛛一天可能只来几百次甚至几十次。如果這些訪問被大量無效頁面、重复頁面和死鏈消耗掉，真正需要被發現的目标入口頁就轮不上。
抓取预算受哪些因素影响
- 站点整体可信度：域名歷史、外鏈情况、内容是否長期稳定更新，會影响蜘蛛愿意给多少額度。
- 响應速度與稳定性：响應慢、超时多、频繁返回 5xx 的站点，蜘蛛會主動降低抓取频率。
- 重复與低價值頁面占比：大量參數頁、空列表頁、内容雷同的頁面會摊薄预算。
- 連結结构與 sitemap：入口是否清晰可達，决定蜘蛛能否高效找到有效頁面。
- 抓取後的反馈：頁面被抓後如果長期不被索引，或频繁返回软 404，額度也會收缩。
哪些頁面在悄悄吃掉预算
實际日誌里，浪費预算的往往不是明顯的垃圾頁，而是這几類：
- 分頁、篩選、排序參數生成的 URL，同一批内容被反复抓。
- 空白搜尋结果頁、空栏目頁、只有模板没有内容的入口頁。
- 已经失效但仍被内鏈指向的舊 URL，返回 404 或超时。
- 内容高度雷同的入口頁，蜘蛛抓了一個就不想抓第二個。
- 被 robots.txt 屏蔽但内鏈仍然存在的 URL，蜘蛛反复尝试反复被拒。
把額度導向有效入口頁的做法
先收敛，再引導
减少無效 URL 的产生源头比事後补救更有效。參數頁尽量用 canonical 归並，或直接禁止無意义參數的组合；失效頁面该 404 就 404，该 410 就 410，不要用 200 返回一個空壳頁面。
用内鏈和 sitemap 明确優先級
把需要重点抓取的入口頁放在首頁或列表頁靠前的位置，减少点击层級。sitemap 只放真正希望被抓的 URL，不要把全站所有參數頁一股脑塞進去——那相当于主動邀請蜘蛛去消耗額度。
给低價值頁面明确信号
確認不需要被抓取的頁面，用 robots.txt 屏蔽後，记得同时切断站内指向它的連結，否則蜘蛛會持續尝试。對需要保留但不希望被抓的頁面，也可以考虑 noindex 配合 nofollow 的组合，但要清楚两者作用不同。
保證响應质量
入口頁的响應時間、稳定性會直接影响蜘蛛的抓取节奏。把入口頁做轻、保證服務器不频繁抖動，比事後想办法催蜘蛛更有用。
用日誌驗證预算到底花在哪
看 access log 时，可以按下面几個维度統計：
- 單位時間内各 UA 的請求量，判断蜘蛛訪問是涨是跌。
- 被請求 URL 的分布，看是集中在有效入口頁，還是散落在參數頁、404 上。
- 狀態碼分布，5xx 和 404 占比過高說明有结构性問题。
- 同一 URL 的重复抓取次數，如果某個低價值頁被抓得比入口頁還频繁，就要查它的内鏈位置。
這些資料不需要做得特別精细，按周看一次趋势即可，重点是發現異常而不是追求报表完整。
几個常见誤区
抓取量上不去，不代表要靠堆頁面解决；很多时候恰恰是頁面太多把预算摊薄了。
- 認為提交 sitemap 就等于让蜘蛛優先抓取，實际它只是一個發現通道。
- 認為 robots.txt 屏蔽就等于不抓，實际上被屏蔽的 URL 仍可能因為外鏈被尝试訪問。
- 把抓取次數当成效果指标，抓得多不等于有價值頁面被有效覆盖。
小结
抓取预算的核心是取舍：站点能被抓的量有限，就要让有限的訪問落在真正需要被發現的入口頁上。做法並不复杂——减少無效 URL、理顺内鏈、控制 sitemap 范围、保證响應稳定，再用日誌定期核對實际流向。它不會带来什么立竿见影的變化，但能避免把力气花在蜘蛛根本不會認真看的地方。