爬虫抓取一个页面，并不只是下载 HTML 源码。页面里引用的 CSS、JS、字体、图片、视频封面等资源，往往也会被一并请求。这些资源的体积、数量和可用性，会直接影响单个页面的抓取耗时。资源又大又多、还经常返回错误，爬虫在一个页面上花掉的时间就会成倍增加，留给其他页面的抓取额度自然变少。
为什么静态资源会牵动抓取效率
抓取预算不是无限的。对中小站点来说，服务器带宽、响应速度、日志里呈现的抓取频率，都会影响蜘蛛实际能访问多少页面。如果首页首屏就挂着几张几 MB 的未压缩大图，或者每个页面都引用十几个阻塞渲染的脚本，爬虫每次进来都要等更久。等待时间变长，单位时间内能抓完的 URL 就变少，新发布的页面被发现的节奏也会被拖慢。
另一个容易被忽略的点是错误资源。一张图挂了、一个字体文件 404，浏览器里用户可能只是看到空白，但爬虫的日志里会多出一次失败请求。如果这种失败在每个页面都重复出现，日志就会被噪声填满，真正需要关注的问题反而被淹没。
自查清单：从用户看得见的地方开始
图片：先看体积，再看格式
- 检查上传前是否做过压缩。相机直出或设计稿导出的原图，动辄 3～5 MB，直接挂到页面上很常见。
- 确认尺寸是否按展示区域裁剪。用 2000px 宽的图去填 400px 的卡片，多出来的像素只是白白消耗带宽。
- 考虑换成 WebP、AVIF 等体积更小的格式，并保留回退方案。
- 首屏关键图不要用超大背景图，列表页缩略图尤其要控制。
失效资源：别让 404 在每个页面重复出现
用一个简单的爬取工具跑一遍全站，或者翻服务器日志，把返回 404、403 的静态资源挑出来。常见来源包括：主题模板里写死的旧图片路径、CDN 迁移后没同步的文件、被删除的字体或图标集。这类问题修起来通常很快，收益却很直接——既少了错误请求，也避免用户看到破图。
懒加载与 JS 渲染
懒加载能改善首屏体验，但要注意方式。基于原生 loading="lazy" 的图片，在 HTML 里仍然保留真实的 src，爬虫一般能读到。而一些依赖 JS 计算后才插入 src 的实现，如果脚本执行不稳定，图片就可能一直不被加载。图片是内容的一部分时，尽量保证它在 HTML 中就有可解析的地址。
同样，把正文内容全部交给前端框架在客户端渲染，会增加爬虫理解的难度。能服务端渲染的列表、文章主体，尽量在 HTML 里就给出。
第三方脚本：数一数有多少个
- 统计页面上加载的统计、客服、广告、字体、地图等外部脚本数量。
- 确认每个脚本是否真的在用，很多是几年前加上去、现在早已废弃的。
- 外部域名如果响应慢或偶发超时，会拖慢整页加载，可考虑延后加载或异步加载。
怎么查：三个够用的方法
- 浏览器开发者工具：打开 Network 面板刷新页面，按体积排序，看哪些资源最大、哪些状态码不是 200。
- 服务器日志：筛选静态资源路径与状态码，观察重复出现的错误请求。
- 抓取工具模拟：用爬虫工具跑几十个代表性页面，记录加载耗时和失败资源，比只看首页更接近真实情况。
处理优先级
不必一次性全部整改。建议按这个顺序推进：先修返回错误的资源，再压缩首页和栏目页的大图，然后清理无用脚本，最后处理懒加载与渲染方式。每次改完，用工具复测一遍，确认没有引入新的破图或报错。
静态资源优化不会让页面立刻被收录或排名上升，但它能减少抓取过程中的无谓消耗，让蜘蛛把时间花在真正的内容页上。对站点运营来说，这属于那种做起来不起眼、长期看却一直在省成本的基础工作。