标签：资源加载

抓取不止页面本身：CSS、JS 和图片在蜘蛛眼里占多少分量

蜘蛛抓的不只是 HTML。为了渲染和理解页面，它还会取 CSS、JavaScript，图片等资源也各有自己的抓取通道。资源请求过多会抬高单页抓取成本，尤其当正文和链接都依赖 JS 渲染时，URL 被发现的速度会明显变慢。本文梳理哪些资源值得省、哪些不能屏蔽，以及怎么从日志里看出问题。