抓取预算到底是什么
很多人把抓取预算理解成搜尋引擎给的一個固定數字，其實它更像一段時間里蜘蛛愿意在你站上花的總成本：能開多少连接、每次愿意等多久、同一时刻有多少頁面在队列里排队。站点小的时候這部分成本几乎用不完；站点一大，尤其是列表頁、篩選頁、歷史归档堆在一起，预算就會被摊薄，重要頁面反而要等更久才能被回訪。
它没有公開的官方數值，但可以通過服務器日誌观察：單位時間内蜘蛛的請求數、命中的路径分布、同一目錄下被反复抓取的頁面類型。能看到的只有行為，看不到的是分配逻辑，所以調整的依據應该是日誌，而不是感觉。
预算通常消耗在哪些地方
- 可抓取的 URL 總量：一個篩選组合就生成一批地址，蜘蛛會顺着連結去發現，URL 越多，單個頁面被回訪的間隔就越長。
- 响應時間：同样抓 100 個頁面，平均 200ms 和平均 2s，占用的時間差一個量級。慢頁面拖累的不只是自己。
- 重复與近似重复：參數、大小寫、末尾斜杠、打印版頁面，會让蜘蛛把同一份内容抓很多遍。
- 無效頁面：软 404、空列表、重定向鏈、没有内容的归档頁，抓了但基本没有产出。
- 跳轉與错誤：每一次重定向和 5xx 重试，都在消耗同一份预算。
怎么把预算往重要頁面上挪
- 先控制總量：能通過參數收敛、noindex 或 robots 規則處理的低價值頁面，尽量不让它們進入可抓取集合。這一步的收益通常最直接。
- 再加快速度：检查 TTFB、資料库查询和缓存命中率。服務器稳定是抓取节奏的前提，慢和抖動是两種問题，排查方式也不一样。
- 然後理顺入口：重要頁面要能從首頁或一級栏目用少量点击到達，内鏈指向具体内容頁而不是层层中轉。入口清楚，蜘蛛才不必靠 Sitemap 去猜。
- 最後對齐 Sitemap：只放真正希望被索引的 URL，並保持 lastmod 真實。Sitemap 里的地址和站内實际連結不一致时，站内連結通常是主導，多出来的那部分作用有限。
用日誌驗證，而不是凭印象
調整之後，看三件事就够了：蜘蛛對目标目錄的抓取次數有没有上升、對低價值路径的抓取有没有下降、抓取结果里重要頁面的占比有没有變化。如果總量没變、结构也没動，說明改動没生效，或者被別的地方抵消了。
抓取预算不會凭空增加，能做的是把有限的抓取机會從低價值頁面挪到高價值頁面，並保證蜘蛛来的时候服務器是清醒的。
還有一点常被忽略：分配是動態的。站点质量、更新频率、新出現的外部入口、服務器稳定性，都會影响蜘蛛下次愿意投入多少。所以這不是配置一次就能結束的事，而是随着站点規模變化需要反复检查的日常動作。