爬虫抓取一個頁面，並不只是下载 HTML 源碼。頁面里引用的 CSS、JS、字体、图片、视频封面等资源，往往也會被一並請求。這些资源的体积、數量和可用性，會直接影响單個頁面的抓取耗时。资源又大又多、還经常返回错誤，爬虫在一個頁面上花掉的時間就會成倍增加，留给其他頁面的抓取額度自然變少。
為什么静態资源會牵動抓取效率
抓取预算不是無限的。對中小站点来说，服務器带宽、响應速度、日誌里呈現的抓取频率，都會影响蜘蛛實际能訪問多少頁面。如果首頁首屏就挂着几張几 MB 的未压缩大图，或者每個頁面都引用十几個阻塞渲染的脚本，爬虫每次進来都要等更久。等待時間變長，單位時間内能抓完的 URL 就變少，新發布的頁面被發現的节奏也會被拖慢。
另一個容易被忽略的点是错誤资源。一張图挂了、一個字体文件 404，浏览器里用戶可能只是看到空白，但爬虫的日誌里會多出一次失敗請求。如果這種失敗在每個頁面都重复出現，日誌就會被噪声填满，真正需要關注的問题反而被淹没。
自查清單：從用戶看得见的地方開始
图片：先看体积，再看格式
- 检查上传前是否做過压缩。相机直出或设計稿導出的原图，動辄 3～5 MB，直接挂到頁面上很常见。
- 確認尺寸是否按展示区域裁剪。用 2000px 宽的图去填 400px 的卡片，多出来的像素只是白白消耗带宽。
- 考虑換成 WebP、AVIF 等体积更小的格式，並保留回退方案。
- 首屏關键图不要用超大背景图，列表頁缩略图尤其要控制。
失效资源：別让 404 在每個頁面重复出現
用一個简單的爬取工具跑一遍全站，或者翻服務器日誌，把返回 404、403 的静態资源挑出来。常见来源包括：主题模板里寫死的舊图片路径、CDN 迁移後没同步的文件、被刪除的字体或图标集。這類問题修起来通常很快，收益却很直接——既少了错誤請求，也避免用戶看到破图。
懒加载與 JS 渲染
懒加载能改善首屏体驗，但要注意方式。基于原生 loading="lazy" 的图片，在 HTML 里仍然保留真實的 src，爬虫一般能讀到。而一些依赖 JS 計算後才插入 src 的實現，如果脚本执行不稳定，图片就可能一直不被加载。图片是内容的一部分时，尽量保證它在 HTML 中就有可解析的地址。
同样，把正文内容全部交给前端框架在客戶端渲染，會增加爬虫理解的难度。能服務端渲染的列表、文章主体，尽量在 HTML 里就给出。
第三方脚本：數一數有多少個
- 統計頁面上加载的統計、客服、广告、字体、地图等外部脚本數量。
- 確認每個脚本是否真的在用，很多是几年前加上去、現在早已废弃的。
- 外部域名如果响應慢或偶發超时，會拖慢整頁加载，可考虑延後加载或异步加载。
怎么查：三個够用的方法
- 浏览器開發者工具：打開 Network 面板刷新頁面，按体积排序，看哪些资源最大、哪些狀態碼不是 200。
- 服務器日誌：篩選静態资源路径與狀態碼，观察重复出現的错誤請求。
- 抓取工具模拟：用爬虫工具跑几十個代表性頁面，记錄加载耗时和失敗资源，比只看首頁更接近真實情况。
處理優先級
不必一次性全部整改。建议按這個顺序推進：先修返回错誤的资源，再压缩首頁和栏目頁的大图，然後清理無用脚本，最後處理懒加载與渲染方式。每次改完，用工具复测一遍，確認没有引入新的破图或报错。
静態资源優化不會让頁面立刻被收錄或排名上升，但它能减少抓取過程中的無谓消耗，让蜘蛛把時間花在真正的内容頁上。對站点运营来说，這属于那種做起来不起眼、長期看却一直在省成本的基础工作。