很多人在搭建蜘蛛池入口頁时，只盯着 HTML 本身，忽略了頁面里引用的 CSS、JS 和图片。對搜尋引擎蜘蛛来说，抓到一個 URL 只是第一步，接下来它還會解析頁面里的资源引用。這些资源是否放行、体积多大、加载方式如何，都會影响它對入口頁的判断，也會占用抓取预算。
蜘蛛為什么會處理静態资源
蜘蛛抓取 HTML 後，會從中提取出 CSS、JS、图片等资源地址。是否繼續抓取，取决于两個因素：一是 robots.txt 與頁面上的指令是否允许，二是目前站点的抓取预算是否充足。预算有限时，蜘蛛會優先抓取對理解頁面更關键的资源，其余的可能排队甚至跳過。
換句话说，资源放行不是“開或關”的二元選擇，而是優先級與成本的權衡。
三類资源分別怎么處理
CSS：建议放行主样式
部分站長為了省预算，會在 robots.txt 里屏蔽 CSS 目錄。這样做短期内减少了請求，但蜘蛛無法判断頁面内容是否被样式隐藏、首屏结构是否合理、移動端适配是否正常。對于依赖文本判断的入口頁，样式缺失會带来額外的誤判風險。建议只放行主 CSS 文件，把合並、压缩、去重做在前面，避免几十個小文件逐個被抓。
JS：尽量让關键内容出現在 HTML 里
搜尋引擎可以执行 JS，但渲染需要排队，成本明顯高于直接讀取 HTML。入口頁如果完全依赖 JS 生成正文、連結或分頁，蜘蛛可能只看到空壳。更稳妥的做法是：标题、正文、主要連結直接輸出在 HTML 中，JS 只负责交互增强。如果确實需要前端渲染，至少保留一份可訪問的初始内容，或使用预渲染方案。
另外，第三方統計、广告、客服脚本這類和頁面内容無關的 JS，可以考虑屏蔽或延迟加载，减少無谓的請求和渲染负担。
图片：控制數量，注意懒加载
图片本身對文本索引的贡献有限，但會明顯消耗抓取预算。入口頁通常不是图片站，首屏放十几張大图並不划算。压缩体积、使用合适格式、限制首屏图片數量，都是常規做法。
使用懒加载时要注意：如果图片地址是 JS 動態寫入的，蜘蛛可能只抓到占位图。關键图片最好直接用 img 标簽輸出，並寫上有意义的 alt 文本。
常见誤区
- 以為屏蔽图片就省预算：如果图片本来就不多，屏蔽带来的收益有限，反而可能让頁面结构信息不完整。
- 把所有资源都放行：包括統計脚本、广告 iframe、字体文件，抓取预算被大量無關請求吃掉。
- 用 JS 輸出全部正文：蜘蛛未必每次都會执行，入口頁内容可能長期讀不出来。
- robots.txt 一刀切：屏蔽整個静態目錄，连主 CSS 也挡在外面，渲染判断容易出問题。
一份可执行的检查清單
- 主 CSS 放行，合並压缩，控制在少量文件内。
- 核心正文、标题、主要連結直接寫在 HTML 中。
- 屏蔽統計、广告、客服等第三方 JS。
- 首屏图片压缩並限制數量，關键图片直接輸出。
- 检查懒加载是否让蜘蛛只看到占位图。
- 確認 robots.txt 没有誤伤關键渲染资源。
静態资源的處理没有统一答案，核心是让蜘蛛用更低的成本理解頁面主体。入口頁不是越轻越好，而是该给的信息要给到，無關的請求要挡掉。