不少站点在核對抓取日誌时，只看 HTML 文档的請求，忽略了同一時間出現的 CSS、JS 和图片請求。現代搜尋蜘蛛在渲染頁面时，常常需要把這些资源也取回去执行或合成。资源抓不到，頁面仍可能被處理，但渲染结果可能不完整，蜘蛛讀到的内容與用戶看到的版本就會出現差异。
资源抓取和纯 HTML 抓取有什么不同
只取 HTML 时，蜘蛛拿到的是源碼，連結和文字都在里面。渲染型抓取則更像浏览器：先取 HTML，再根據頁面里的引用去請求样式、脚本、字体和图片，等頁面结构稳定後讀取内容。這個過程會带来額外請求，也會消耗更多時間。
- CSS 决定元素是否顯示。被遮挡或隐藏的内容，在渲染後可能讀不到。
- JS 可能负责插入正文、生成連結、触發接口。脚本没执行，頁面可能接近空白。
- 图片請求通常不直接提供正文，但會影响頁面完整性和渲染等待。
- 字体、图标等资源失敗，一般不影响文字理解，却可能拉長渲染時間。
robots 屏蔽 CSS、JS 的常见副作用
有些站点為了减少抓取，會在 robots.txt 里屏蔽资源目錄。這個做法要谨慎。蜘蛛無法获取样式和脚本时，可能把頁面判断成内容稀疏或结构異常。即使 HTML 里有正文，渲染後的可见文本也可能與预期不同。
如果确實要屏蔽，建议先確認這些资源不是渲染必需。更稳妥的方式是放行核心 CSS 和 JS，只屏蔽明确的統計脚本、广告脚本或後台接口。屏蔽後观察日誌中的资源請求變化，再看頁面在抓取中的表現是否稳定。
资源抓取是渲染的前提，不是額外的装饰。屏蔽资源前，先想清楚蜘蛛還能不能看到完整頁面。
日誌里怎么核對资源抓取
资源請求通常和 HTML 請求使用同一個蜘蛛标识，只是 URL 後缀不同。可以按以下顺序核對：
- 先筛出蜘蛛的 HTML 請求，记錄被訪問的頁面地址和時間。
- 在同一時間窗口内，查找来自同一蜘蛛的 CSS、JS、图片請求。
- 看资源請求的狀態碼。大量 403、404、超时，說明渲染可能受阻。
- 對比资源請求的响應体大小，判断是否被 CDN 或安全策略返回了错誤頁。
- 抽查几個頁面，用日誌時間线還原蜘蛛先取什么、後取什么。
如果 HTML 請求正常，但资源請求几乎為零，可能是頁面本身没有外鏈资源，也可能是资源被 robots 或防火墙拦截。两種情况要分開判断。
资源抓取對服務器稳定性的影响
一個 HTML 頁面可能带動十几個资源請求。蜘蛛抓取量上升时，静態资源服務器的压力會先体現出来。图片、JS 和 CSS 如果都走動態處理，更容易出現超时。常见調整思路包括：把静態资源交给 CDN 或對象存储；設定合理的缓存头；避免在资源 URL 上附加随机參數；對频繁訪問的资源做压缩和合並。
還要留意资源超时。蜘蛛等待资源的時間有限，長期超时可能让它放弃完整渲染。服務器日誌里如果出現大量资源 499 或網關超时，先检查资源体积、回源鏈路和 CDN 缓存命中率，而不是只盯着 HTML 頁面。
處理顺序建议
- 先確認哪些頁面依赖前端渲染，哪些頁面 HTML 里已有完整正文。
- 再检查 robots.txt、防火墙和 CDN 規則，排除對 CSS、JS 的誤拦。
- 然後看日誌：资源請求是否有、狀態碼是否正常、响應時間是否過長。
- 最後做性能調整，比如压缩资源、延長缓存、减少阻塞渲染的脚本。
把资源抓取纳入日常站点运营的检查項，能让蜘蛛抓到的版本更接近真實頁面。它不會直接带来排名，但能减少因渲染失敗導致的抓取偏差，让後續的内容和連結分析更可靠。