标簽：资源加载

抓取不止頁面本身：CSS、JS 和图片在蜘蛛眼里占多少分量

蜘蛛抓的不只是 HTML。為了渲染和理解頁面，它還會取 CSS、JavaScript，图片等资源也各有自己的抓取通道。资源請求過多會抬高單頁抓取成本，尤其当正文和連結都依赖 JS 渲染时，URL 被發現的速度會明顯變慢。本文梳理哪些资源值得省、哪些不能屏蔽，以及怎么從日誌里看出問题。