标签：静态资源抓取

蜘蛛每天抓的不只是页面：静态资源的抓取开销也要算进去

蜘蛛抓取页面时，背后往往还跟着一串 CSS、JS、图片请求。这些静态资源不参与收录判断，却占用服务器带宽与连接，也会干扰日志分析。本文说明哪些资源最容易被反复抓取、常见的浪费来源，以及缓存、命名和日志排查上的具体做法。