提到搜索蜘蛛抓取，很多站长只盯着 HTML 页面本身。实际上，蜘蛛在抓 HTML 的同时，也会按需请求页面里引用的 CSS、JavaScript 和图片资源。这些请求不会直接带来收录，但它们会影响蜘蛛对页面的理解，也会占用一部分服务器资源。理解这三种资源被抓取时发生了什么，能帮你判断哪些抓取是必要的，哪些是白白浪费的。
蜘蛛为什么要抓 CSS 和 JS
搜索引擎需要还原页面渲染后的样子，才能判断正文在哪里、哪些内容被隐藏、哪些链接是真实存在的。常见做法是让抓取器把 CSS 和 JS 下载下来，在渲染队列里执行一遍。这意味着：
- 页面首屏内容靠 JS 渲染时，蜘蛛必须跑完脚本才能看到文字；
- 链接由 JS 动态插入时，只有脚本执行成功，这些 URL 才会进入待抓队列；
- CSS 决定显示与隐藏，用 display:none 藏起来的内容，渲染后可能被判定为对用户不可见。
因此，CSS 和 JS 不是可抓可不抓的附属品，而是蜘蛛理解页面的前置条件。
渲染资源抓取失败的连锁反应
如果 JS 文件返回 404、超时，或者被 robots.txt 拦住，蜘蛛拿到的是一个不完整的页面。表现通常是：收录的标题和描述与用户看到的不一致，正文只收录了一小段，或者页面里明明有链接，蜘蛛却始终没有发现。
排查顺序建议从日志入手：先确认蜘蛛有没有请求这些资源，再看返回状态码。常见原因是资源部署在 CDN 上，而 CDN 对未知 UA 做了限流或跳转到验证页；也有站点把 assets 目录整体写进了 robots.txt 的 Disallow 规则。
图片抓取与另外一条链路
图片被抓取有两个目的：一是作为页面内容的一部分参与理解，二是进入图片搜索的独立索引。图片想被收录，除了能被抓取，还需要页面本身有可被索引的上下文。常见做法是把图片放在正文附近，配上描述性的 alt 文本，并保证图片 URL 稳定、可长期访问。图片文件过大、响应过慢，会拖长整个页面的抓取时间，间接影响同批次其他 URL 的处理。
资源抓取对服务器意味着什么
一个页面若引用几十个静态资源，蜘蛛抓一次页面，服务器实际要响应几十次请求。并发控制不好时，日志里会出现大量资源请求超时，随后页面本身的抓取频率也可能下降。几个可以落地的做法：
- 合并与压缩资源，减少单页请求数量；
- 为静态资源设置较长的缓存头，让蜘蛛复用已有副本；
- 把资源域名与主站分开，避免资源请求挤占 HTML 的响应能力；
- 监控资源目录的 5xx 比例，出现异常时先修服务，再谈抓取。
哪些拦截是合理的
不是所有资源都值得让蜘蛛抓。统计脚本、广告脚本、后台用的接口，通常可以直接在 robots.txt 里拦掉，减少无意义的抓取。判断标准很简单：这个资源是否影响页面正文和链接的呈现。不影响就可以拦，影响就一定要放开。
资源抓取是页面抓取的延伸，而不是额外负担。把该放的资源放开、该拦的拦掉，比反复提交 URL 更有效。
最后提醒一句：不要在资源路径上做临时重定向，也不要用带随机参数的 URL 引用 JS 和 CSS。每次抓取都是新的 URL，既浪费抓取配额，也让缓存彻底失效。