标签：资源缓存

静态资源也在占抓取：蜘蛛为什么反复拉取同一批 JS 与 CSS

蜘蛛抓取的不只是页面地址，JS、CSS、图片等静态资源同样计入抓取开销。本文说明同一批资源被反复拉取的常见原因，资源抓取失控对渲染与抓取队列的影响，以及缓存头、文件指纹、robots 放行等可落地的处理思路，并给出用日志自查的方法。