抓取预算不是一個抽象词
很多人在做蜘蛛池入口頁时，把注意力全放在正文和連結上，忽略了頁面里那些顺手带上的资源。爬虫拿到一個 HTML 之後，並不只看正文，它還會解析頁面引用的 CSS、JavaScript、图片、字体、图标等外部资源。對搜尋引擎来说，這些請求同样要排队、要分配带宽、要占用主机资源，也就是常说的抓取预算。
入口頁的價值是被發現。如果一頁的抓取額度被大量無關资源吃掉，真正承载連結的那部分反而可能被延後處理。
一個入口頁會带出多少請求
一個看似只有几十行 HTML 的頁面，實际产生的請求往往遠超预期：
- 框架或模板自带的 CSS、JS，通常是几個到十几個文件；
- 图标字体、字体文件，單個文件動辄上百 KB；
- 統計代碼、客服脚本、广告位脚本，每個都指向一個外部域名；
- 頁面里的图片、占位图、背景图；
- 模板残留的 favicon、manifest、预加载連結。
這些請求里，有一部分會被爬虫的渲染流程执行，有一部分只被记錄。無论哪一種，都會在日誌里留下痕迹，也會占用服務器连接數。
哪些請求值得留，哪些可以砍
判断标准很简單：這個资源是否影响爬虫理解頁面的主要内容。
- 值得留：必要的样式（避免頁面错乱到無法阅讀）、承载主要内容的图片、與頁面主题直接相關的 JS。
- 可以砍：統計與埋点脚本、客服與彈窗组件、装饰性背景图、與本頁無關的推荐模块脚本。
- 必须處理：指向已经失效外部域名的资源，它們會产生超时和错誤狀態，白白消耗時間。
入口頁的设計目标是让爬虫尽快拿到連結和主题信息，不是复刻一個功能完整的商业頁面。
把资源收敛到可控范围
- 先看日誌，統計每個入口頁平均产生多少條资源請求，找出請求數最多的那几個模板。
- 把公共样式内联到 HTML 的 style 里，减少一次外部請求；能用纯 HTML 表達的结构就別用 JS 渲染。
- 图片压缩到合理尺寸，不需要高清；能用文字或色块替代的地方就用替代方案。
- 移除第三方脚本，尤其是統計、广告和客服類，它們在入口頁上几乎带不来收益。
- 定期检查资源域名是否還活着，避免出現一批長期超时的外鏈资源。
別忽略服務器侧的承受能力
资源請求不只影响爬虫，也影响你自己的机器。一個入口頁從 3 個請求變成 20 個請求，再乘以入口頁數量，就是连接數和带宽的成倍增長。在入口頁規模較大时，這種放大效應往往比内容本身更早把服務器压到限流。
另外，如果资源放在 CDN 或第三方域名上，爬虫實际拿到的那份頁面還取决于這些资源的可用性。缓存未命中、回源失敗、跨域限制，都會让頁面在爬虫眼里呈現得不完整。這部分需要單獨观察日誌，而不是想当然地認為頁面已经完整加载。
一個简單的自查清單
- 入口頁的 HTML 体积是否在合理范围，是否夹带了模板遗留代碼；
- 是否有外部脚本、字体、統計在拖慢首屏；
- 图片是否压缩過，是否存在無意义的装饰图；
- 资源域名是否稳定，是否出現過批量超时；
- 资源請求數量是否随入口頁數量线性放大，服務器能否承接。
把這些做到位，入口頁對抓取预算的消耗會明顯可控，爬虫也更容易把注意力放在連結和内容本身。至于最终能带来多少 URL 發現，仍然取决于連結结构、内容质量和整站运营，不是單靠削减资源請求就能决定的。