提到抓取预算，很多人的第一反應是頁面够不够多、内鏈够不够深。但蜘蛛在站里走一圈，拿的不只是 HTML 文档，還有頁面依赖的图片、样式表、脚本、字体文件，甚至部分接口返回的資料。這些東西同样要占用连接、带宽和队列時間。当资源請求數量遠超内容頁面时，你可能會感觉蜘蛛“来過”，但真正被评估的頁面没几個。
蜘蛛為什么還要取這些资源
搜尋引擎需要渲染頁面，才能判断首屏内容、可见文字和结构。現代搜尋引擎的渲染队列會把 CSS 和 JS 一起取走；图片則帮助理解内容主题，也是图片搜尋的入口。所以“只让蜘蛛看到 HTML”的思路並不成立，關键在于区分哪些资源對理解頁面有用，哪些只是可選的装饰。
哪些资源可以放開，哪些适合收窄
- 样式與脚本：核心 CSS/JS 目錄尽量放開，让渲染顺利完成；第三方統計、广告、客服插件如果對内容没有帮助，可以评估是否延後加载。
- 图片與图标：正文配图、产品图放開；用戶头像、渐變占位图、活動角标這類重复度极高的图，可以集中到固定目錄，必要时用 robots 收窄。
- 字体與媒体：字体文件注意跨域配置，避免蜘蛛反复取失敗；音视频等大文件建议單獨目錄或域名，別和内容頁抢同一路连接。
- 接口與 JSON：如果接口返回的是頁面渲染必需的資料，放開；如果只是後台管理或用戶私有資料，用 robots 和權限挡在外面。
减少無效资源請求的几個動作
- 压缩图片並限制尺寸輸出，同一張图不要出現五六個不同裁剪版本。
- 清理長期不用的舊版脚本和样式文件，別让頁面里堆着歷史遗留的引用。
- 检查懒加载寫法，图片地址要能在源碼里被讀到，不要只寫在自定义属性里等 JS 拼接。
- CDN 缓存策略與回源設定保持一致，避免同一资源反复回源、狀態碼不稳定。
- 對確認無抓取價值的目錄，用 robots 收窄之後，再在對應頁面加 noindex，两件事配合着做。
從日誌里核對资源抓取占比
把一段時間的訪問日誌按扩展名或目錄分组，看几件事：图片和静態资源的請求量占多少、有没有集中的 404 與 403、發布新版本後舊文件名是否還在被反复請求。如果某個目錄的請求量突然翻倍，先查是不是模板改動引入了重复引用，而不是急着去調 robots。
资源抓取没有绝對标准，判断依據是“它是否帮助蜘蛛理解這個頁面”。帮不上忙的，能省則省。
把它放進日常巡检
资源层面的問题通常不會立刻反映在收錄上，但會慢慢吃掉抓取額度。建议在例行巡检里加一條：統計内容頁與静態资源的請求比例，观察趋势是否稳定。比例出現明顯偏移时，再回到模板、缓存和發布流程里找原因，比直接改規則更稳妥。