标簽：资源缓存

静態资源也在占抓取：蜘蛛為什么反复拉取同一批 JS 與 CSS

蜘蛛抓取的不只是頁面地址，JS、CSS、图片等静態资源同样計入抓取開销。本文說明同一批资源被反复拉取的常见原因，资源抓取失控對渲染與抓取队列的影响，以及缓存头、文件指纹、robots 放行等可落地的處理思路，並给出用日誌自查的方法。