抓取预算（crawl budget）指的是搜尋引擎蜘蛛在某個站点上愿意花掉的時間與請求數量。很多运营者把它理解成“每天固定来多少次”，但實际它由两股力量共同决定：搜尋引擎一侧的爬行容量，以及站点一侧的爬行需求。前者受服務器承载能力影响，後者取决于站点有多少 URL、更新得有多快。
抓取预算不是一個固定配額
同一台服務器，蜘蛛可能上午来得密、晚上来得稀；頁面多、更新快的站点被爬得更勤，几個月不動的站点被爬得越来越少。所以讨论抓取预算，關注点不是“今天来了几次”，而是“来的這些趟，時間花在了哪些 URL 上”。
另外要提醒的是，站点規模不大时這件事的優先級很低。几百個頁面的站点，通常不會因為抓取预算不足而影响收錄，真正拖後腿的往往是内容质量和内鏈结构。
什么情况下需要認真看這件事
- 站内 URL 數量進入萬級甚至更多，抓取日誌却只覆盖很小一部分目錄；
- 重要頁面發布或大改之後，過了很久才看到蜘蛛来訪；
- 站内存在大量由篩選、排序、分頁、追踪參數生成的 URL；
- 日誌里同一個 URL 被反复抓取，内容却長期没有變化。
蜘蛛的時間通常被浪費在哪
一、低價值 URL 數量過多
篩選组合、排序方式、站内搜尋结果頁、没有邊界的日歷頁，很容易生成成千上萬個 URL。它們本身不一定有害，但會摊薄蜘蛛對整個站点的訪問次數。可以先用 robots.txt 限制明顯無意义的路径，或者用 canonical、noindex 做归並，把抓取集中到真正想被收錄的頁面上。
二、响應慢和连接不稳
蜘蛛有超时時間。頁面响應慢、频繁超时或者返回 5xx，蜘蛛會主動降低訪問频率，這是自我保護。不少“抓取量突然下降”的案例，根源在服務器而不在内容，先看监控里的响應時間，再谈其他優化。
三、重复抓取同一批 URL
如果 sitemap 里的 lastmod 每天都在變，而頁面内容其實没動，等于在告诉蜘蛛這里有更新，几次之後可信度就會下降。同理，列表頁每次刷新時間戳、頁脚日期随渲染變化，也會带来無意义的重复抓取。
四、错誤頁面被反复指向
已经刪除的頁面如果還挂在導航或内鏈里，蜘蛛每来一次就會撞一次 404；返回 5xx 的頁面如果一直留在 sitemap 中，也會被反复請求。這些請求不會带来任何收錄收益。
怎么观察抓取预算的去向
- 把服務器日誌按目錄或頁面模板分组，看蜘蛛請求集中在哪些部分；
- 統計狀態碼分布，200、301、404、5xx 各占多少；
- 對比抓取時間與頁面實际更新時間，判断是否存在無效的重复抓取；
- 结合搜尋後台的抓取統計，看趋势是持續下降還是短期波動。
能落地的几件事
- 减少 URL 數量：參數型 URL 能归並就归並，不能归並就挡掉，不留中間地带。
- 把重要頁面放在浅层：從首頁三到四次点击能到達，比深埋在目錄里更有效。
- sitemap 保持干净：只放需要收錄、返回 200 的 URL，lastmod 如實填寫。
- 修掉死鏈和服務器错誤：這两項修复成本低，收益直接。
- 提高响應速度：缓存、静態化、减少阻塞請求，都是為抓取让路。
需要区分的是：抓取量增加不等于收錄量增加。通過外鏈或蜘蛛池等方式人為增加蜘蛛請求，如果頁面本身质量不够，這些請求只會被浪費掉——蜘蛛来過，不等于頁面會被留下。
抓取预算更像一項長期工程，短期内很难看到明顯變化。比較稳妥的做法是：先观察一到两周的日誌，找出請求最集中、收益最低的那部分 URL，處理掉它們，再观察抓取分布有没有向重要頁面轉移。