很多人在搭建蜘蛛池入口页时，只盯着 HTML 本身，忽略了页面里引用的 CSS、JS 和图片。对搜索引擎蜘蛛来说，抓到一个 URL 只是第一步，接下来它还会解析页面里的资源引用。这些资源是否放行、体积多大、加载方式如何，都会影响它对入口页的判断，也会占用抓取预算。
蜘蛛为什么会处理静态资源
蜘蛛抓取 HTML 后，会从中提取出 CSS、JS、图片等资源地址。是否继续抓取，取决于两个因素：一是 robots.txt 与页面上的指令是否允许，二是当前站点的抓取预算是否充足。预算有限时，蜘蛛会优先抓取对理解页面更关键的资源，其余的可能排队甚至跳过。
换句话说，资源放行不是“开或关”的二元选择，而是优先级与成本的权衡。
三类资源分别怎么处理
CSS：建议放行主样式
部分站长为了省预算，会在 robots.txt 里屏蔽 CSS 目录。这样做短期内减少了请求，但蜘蛛无法判断页面内容是否被样式隐藏、首屏结构是否合理、移动端适配是否正常。对于依赖文本判断的入口页，样式缺失会带来额外的误判风险。建议只放行主 CSS 文件，把合并、压缩、去重做在前面，避免几十个小文件逐个被抓。
JS：尽量让关键内容出现在 HTML 里
搜索引擎可以执行 JS，但渲染需要排队，成本明显高于直接读取 HTML。入口页如果完全依赖 JS 生成正文、链接或分页，蜘蛛可能只看到空壳。更稳妥的做法是：标题、正文、主要链接直接输出在 HTML 中，JS 只负责交互增强。如果确实需要前端渲染，至少保留一份可访问的初始内容，或使用预渲染方案。
另外，第三方统计、广告、客服脚本这类和页面内容无关的 JS，可以考虑屏蔽或延迟加载，减少无谓的请求和渲染负担。
图片：控制数量，注意懒加载
图片本身对文本索引的贡献有限，但会明显消耗抓取预算。入口页通常不是图片站，首屏放十几张大图并不划算。压缩体积、使用合适格式、限制首屏图片数量，都是常规做法。
使用懒加载时要注意：如果图片地址是 JS 动态写入的，蜘蛛可能只抓到占位图。关键图片最好直接用 img 标签输出，并写上有意义的 alt 文本。
常见误区
- 以为屏蔽图片就省预算：如果图片本来就不多，屏蔽带来的收益有限，反而可能让页面结构信息不完整。
- 把所有资源都放行：包括统计脚本、广告 iframe、字体文件，抓取预算被大量无关请求吃掉。
- 用 JS 输出全部正文：蜘蛛未必每次都会执行，入口页内容可能长期读不出来。
- robots.txt 一刀切：屏蔽整个静态目录，连主 CSS 也挡在外面，渲染判断容易出问题。
一份可执行的检查清单
- 主 CSS 放行，合并压缩，控制在少量文件内。
- 核心正文、标题、主要链接直接写在 HTML 中。
- 屏蔽统计、广告、客服等第三方 JS。
- 首屏图片压缩并限制数量，关键图片直接输出。
- 检查懒加载是否让蜘蛛只看到占位图。
- 确认 robots.txt 没有误伤关键渲染资源。
静态资源的处理没有统一答案，核心是让蜘蛛用更低的成本理解页面主体。入口页不是越轻越好，而是该给的信息要给到，无关的请求要挡掉。