很多人看日誌时，會把蜘蛛的訪問简單理解成一次訪問等于一個頁面。實际打開日誌仔细看，會發現同一個蜘蛛 IP 在一小段時間里，往往连着来了一串請求：先是 HTML，接着是頁面里的 CSS、JS，然後是几張图片，可能還有字体文件。這些請求在服務器看来都是獨立的一次訪問，但触發它們的是同一個頁面的抓取動作。
一次抓取，背後的請求數往往不止一個
蜘蛛拿到 HTML 之後，需要把頁面解析一遍才能理解内容。解析過程會把頁面引用到的资源一個個列出来，CSS 和 JS 會影响頁面最终長什么样，图片和视频會决定内容是否完整。對于需要渲染的頁面，這些资源不抓下来，蜘蛛看到的可能只是一個空壳。
所以從請求量上看，一個包含几十張图片、若干脚本和样式的頁面，可能對應几十次甚至上百次請求。這也是為什么有些站点頁面數不多，日誌里蜘蛛的請求數却很高。
资源抓取會和頁面抓取抢资源
资源請求虽然不直接决定 URL 是否被發現，但它實實在在地占用带宽、连接數和後端處理能力。如果站点本身响應就慢，或者图片走的還是同一台源站，那么资源抓取挤占的正是頁面抓取需要的资源。表現就是蜘蛛訪問頁面的频率下降、超时變多，抓取节奏整体被拖慢。
這一点在图片站、图库、电商詳情頁上尤其明顯。頁面本身不重，但一張詳情頁能带出几十張商品图，蜘蛛来回走几遍，源站压力就上来了。
哪些资源可以挡，哪些最好放行
不是所有资源都必须让蜘蛛抓。判断标准其實很简單：這個资源會不會影响蜘蛛對頁面内容的理解。
- 影响内容理解的：正文图片、關键 CSS、必要的 JS，一般建议放行，否則蜘蛛看到的頁面和用戶看到的差別很大。
- 不影响内容理解的：統計脚本、广告脚本、装饰性背景图、部分字体文件，可以考虑通過 robots.txt 或 CDN 規則限制。
- 体积大但價值低的：自動播放的视频、超大分辨率原图，可以只让蜘蛛抓缩略图，原图通過懒加载或獨立路径提供。
要注意的是，用 robots.txt 挡资源只是一種取舍，挡得太多可能让渲染结果失真。挡之前最好先想清楚：這個资源没了，蜘蛛還能不能看懂這一頁。
把资源請求的成本降下来
如果不能挡，那就想办法让它便宜一点。常见的做法有几個方向。
- 给静態资源設定合理的缓存头，让蜘蛛再次訪問时走缓存而不是回源。
- 把图片、样式、脚本放到 CDN 上，和 HTML 源站分開，避免抓资源时影响頁面响應。
- 控制單頁资源數量，合並零碎的小文件，减少請求次數。
- 图片按實际展示尺寸輸出，不要用小图位承载大图。
這些做法的共同点，是把资源抓取從源站压力里剥离出去，让蜘蛛抓頁面时，源站能把资源留给 HTML。
從日誌里看资源抓取的真實情况
想確認资源抓取到底占了多少，日誌是最直接的依據。可以按蜘蛛 IP 或 UA 分组，看看同一個頁面路径後面跟着多少條静態资源請求，以及這些請求的响應碼和耗时。
如果發現大量静態资源返回 404、403，或者响應時間明顯高于 HTML，說明资源路径本身有問题，或者服務器在處理這些請求时力不從心。這類情况不一定會立刻影响收錄，但會让蜘蛛每次来訪都多花時間，長期看會拖慢整個站点的抓取节奏。
资源抓取不是額外的负担，它是頁面抓取的一部分。與其纠结蜘蛛抓了多少资源，不如先確認它抓到的這些资源，是不是它真正需要的那几個。