不少站点在核对抓取日志时，只看 HTML 文档的请求，忽略了同一时间出现的 CSS、JS 和图片请求。现代搜索蜘蛛在渲染页面时，常常需要把这些资源也取回去执行或合成。资源抓不到，页面仍可能被处理，但渲染结果可能不完整，蜘蛛读到的内容与用户看到的版本就会出现差异。
资源抓取和纯 HTML 抓取有什么不同
只取 HTML 时，蜘蛛拿到的是源码，链接和文字都在里面。渲染型抓取则更像浏览器：先取 HTML，再根据页面里的引用去请求样式、脚本、字体和图片，等页面结构稳定后读取内容。这个过程会带来额外请求，也会消耗更多时间。
- CSS 决定元素是否显示。被遮挡或隐藏的内容，在渲染后可能读不到。
- JS 可能负责插入正文、生成链接、触发接口。脚本没执行，页面可能接近空白。
- 图片请求通常不直接提供正文，但会影响页面完整性和渲染等待。
- 字体、图标等资源失败，一般不影响文字理解，却可能拉长渲染时间。
robots 屏蔽 CSS、JS 的常见副作用
有些站点为了减少抓取，会在 robots.txt 里屏蔽资源目录。这个做法要谨慎。蜘蛛无法获取样式和脚本时，可能把页面判断成内容稀疏或结构异常。即使 HTML 里有正文，渲染后的可见文本也可能与预期不同。
如果确实要屏蔽，建议先确认这些资源不是渲染必需。更稳妥的方式是放行核心 CSS 和 JS，只屏蔽明确的统计脚本、广告脚本或后台接口。屏蔽后观察日志中的资源请求变化，再看页面在抓取中的表现是否稳定。
资源抓取是渲染的前提，不是额外的装饰。屏蔽资源前，先想清楚蜘蛛还能不能看到完整页面。
日志里怎么核对资源抓取
资源请求通常和 HTML 请求使用同一个蜘蛛标识，只是 URL 后缀不同。可以按以下顺序核对：
- 先筛出蜘蛛的 HTML 请求，记录被访问的页面地址和时间。
- 在同一时间窗口内，查找来自同一蜘蛛的 CSS、JS、图片请求。
- 看资源请求的状态码。大量 403、404、超时，说明渲染可能受阻。
- 对比资源请求的响应体大小，判断是否被 CDN 或安全策略返回了错误页。
- 抽查几个页面，用日志时间线还原蜘蛛先取什么、后取什么。
如果 HTML 请求正常，但资源请求几乎为零，可能是页面本身没有外链资源，也可能是资源被 robots 或防火墙拦截。两种情况要分开判断。
资源抓取对服务器稳定性的影响
一个 HTML 页面可能带动十几个资源请求。蜘蛛抓取量上升时，静态资源服务器的压力会先体现出来。图片、JS 和 CSS 如果都走动态处理，更容易出现超时。常见调整思路包括：把静态资源交给 CDN 或对象存储；设置合理的缓存头；避免在资源 URL 上附加随机参数；对频繁访问的资源做压缩和合并。
还要留意资源超时。蜘蛛等待资源的时间有限，长期超时可能让它放弃完整渲染。服务器日志里如果出现大量资源 499 或网关超时，先检查资源体积、回源链路和 CDN 缓存命中率，而不是只盯着 HTML 页面。
处理顺序建议
- 先确认哪些页面依赖前端渲染，哪些页面 HTML 里已有完整正文。
- 再检查 robots.txt、防火墙和 CDN 规则，排除对 CSS、JS 的误拦。
- 然后看日志：资源请求是否有、状态码是否正常、响应时间是否过长。
- 最后做性能调整，比如压缩资源、延长缓存、减少阻塞渲染的脚本。
把资源抓取纳入日常站点运营的检查项，能让蜘蛛抓到的版本更接近真实页面。它不会直接带来排名，但能减少因渲染失败导致的抓取偏差，让后续的内容和链接分析更可靠。