标簽：静態资源抓取

蜘蛛每天抓的不只是頁面：静態资源的抓取開销也要算進去

蜘蛛抓取頁面时，背後往往還跟着一串 CSS、JS、图片請求。這些静態资源不參與收錄判断，却占用服務器带宽與连接，也會干扰日誌分析。本文說明哪些资源最容易被反复抓取、常见的浪費来源，以及缓存、命名和日誌排查上的具体做法。