站点做久了，服務器日誌里常會出現一種落差：有些目錄被反复抓，有些頁面提交很久也没動静。這通常不是蜘蛛漏了，而是抓取预算在分配。
抓取预算大概是什么
可以把它理解為：搜尋引擎在一定時間内，愿意花在某個站点上的抓取次數和抓取深度。它不是一個公布的數字，也没有開關，而是由几個現實條件一起决定的——站点的頁面規模、更新频率、服務器响應速度、抓取错誤的比例，以及蜘蛛上一次来訪时的体驗。
所以同一個站点，预算會變。响應變慢、错誤變多，预算會收缩；更新規律、响應稳定，预算會慢慢放開。
三块内容在争同一份预算
新頁面
新頁面最需要被抓，但蜘蛛並不知道它值不值得。能做的：让新頁面在發布时就有一條可点击的路径（栏目頁、相關推荐、列表頁），同时出現在 Sitemap 或主動提交接口里。多條路同时存在，比只依赖一條更稳。
老頁面
老頁面如果内容没變却被反复抓，多半是蜘蛛没判断出它已经稳定。常见原因是頁面上有持續變化的東西——時間戳、随机推荐、评论數、库存數字。這些變化會让蜘蛛每次都觉得有更新，于是又抓一次，但抓到的正文其實一样。把這類波動收一收，省下的抓取次數會流向真正在更新的頁面。
低频目錄
分頁、标簽、篩選组合、排序參數，這類頁面數量大、單頁價值低。它們不一定有害，但如果入口太多，會占走不小比例的抓取次數。處理方向是减少内鏈入口，把有限的連結位置留给主要頁面；對确實不需要被抓的组合，用 robots.txt 或規范連結去收敛，而不是指望蜘蛛自己判断。
更新节奏也會影响倾斜方向
稳定按节奏更新的栏目，容易形成這里常變的印象，抓取次數會向它倾斜；長期不更新的目錄，抓取频率會自然下降，這属于正常現象。反過来，如果一個栏目只有頁脚時間戳在變，蜘蛛来過几次發現正文没動，對整站的更新判断都會變谨慎，连真正更新的頁面也可能被拖慢。
几個常见的誤判
- 以為提交了就會優先抓。提交只解决知道有這條 URL，不解决先抓哪一條。
- 以為 noindex 等于不抓。noindex 是告诉蜘蛛別收錄，蜘蛛仍可能来抓一次做確認。
- 以為减少頁面總數就能提高抓取。预算不是按頁面總數平均分的，改變的是優先級和错誤率。
怎么检查分配是否合理
- 按目錄統計日誌中的抓取次數，對比该目錄里真正希望被收錄的頁面數量。
- 看抓取返回的狀態碼分布。5xx 和超时占比高时，先修服務端，其他調整效果都有限。
- 看响應時間，尤其是列表頁和詳情頁的較慢那一档耗时。
- 看新頁面從發布到第一次被抓的間隔，長期偏長說明入口或更新信号有問题。
調整顺序
一般建议先動阻碍——服務器响應、错誤頁、過長的重定向；再動信号——Sitemap 的更新時間和准确性、内鏈入口；最後才動取舍，也就是哪些目錄少给入口、哪些參數组合直接封掉。顺序反了，前面修好的收益容易被後面的問题吃掉。
抓取预算不是用来争取更多的指标，而是用来判断：蜘蛛的時間，花在了你希望它花的地方吗。