蜘蛛来過哪些頁面、来了几次、每次拿到什么响應，服務器日誌里其實都有记錄。多數人只統計每天的抓取總量，而這個數字會掩盖很多细节：某個栏目可能被反复抓，另一個栏目一個月都没人来。把日誌按几個维度拆開看，比盯着總量有用得多。
第一步：先把蜘蛛流量和普通訪客分開
日誌里混着真實用戶、爬虫、监控探针和各類工具。先按 User-Agent 做一次粗筛，再用 DNS 反查確認来源，不要只信 UA 字符串——它很容易被伪装。
- 真實蜘蛛的 UA 里通常带有對應的爬虫标识，但這不是唯一依據；
- 反查 IP 归属的域名是否落在搜尋引擎官方網段，比 UA 更可靠；
- 自家监控、CDN 回源、第三方 SEO 工具的請求要單獨标记，否則統計结果會被污染。
第二步：按目錄統計抓取次數
把 URL 去掉參數，归到一級或二級目錄，分別統計每個目錄被訪問的次數和獨立 URL 數。两個數字要一起看：次數多但獨立 URL 少，說明蜘蛛在少數頁面上反复打轉；次數少、獨立 URL 也少，才是真正的冷区。
抓取次數多不等于頁面有價值，但長期零抓取，通常意味着這條路径压根没被發現。
冷区常见的三個原因
- 缺内鏈：頁面只存在于 Sitemap 里，導航和正文都没有指向它；
- 层級太深：從首頁要走五六跳才能到，蜘蛛很可能中途就停了；
- 狀態碼或渲染問题：返回 5xx、被 robots 拦下，或者内容靠 JavaScript 渲染而没渲染出来。
第三步：看狀態碼分布
把蜘蛛請求的响應碼列出来，200 之外的部分往往藏着實际問题。
- 大量 3xx：重定向鏈把抓取路径拖長了，能直接给最终 URL 的就別绕；
- 大量 404：内鏈指错了地址，或者頁面删掉後没有做處理；
- 出現 5xx：先查服務器负载和超时配置，蜘蛛连續遇到失敗會主動降低訪問频率；
- 出現 403：可能是 WAF 或频控規則誤伤了蜘蛛。
第四步：看抓取的時間分布
把抓取记錄按小时排一下，能看到蜘蛛的活跃时段。如果抓取總是集中在少數几個小时，而站点在其它时段更新内容，新 URL 被發現的時間就會被拉長。對更新频繁的站点，让 Sitemap 里的 lastmod 與實际發布時間保持一致，有助于蜘蛛判断哪些 URL 值得優先安排。
發現冷区之後做什么
- 從已有較高抓取量的頁面补一到两條自然内鏈，指向冷区頁面；
- 確認冷区頁面真的返回 200，内容渲染完整；
- 检查 Sitemap 是否包含這些 URL，地址可訪問、没有多余跳轉；
- 冷区里确實無價值的頁面就清理掉，別让它們繼續占用抓取額度。
別只看總量
抓取量上涨不一定是好事。如果涨的部分集中在參數頁、站内搜尋结果頁和重复列表頁，那只是把時間花在了低價值 URL 上。統計时把這類頁面單獨归档，观察它們的占比是不是在上升。
日誌不會直接告诉你该改哪里，但它能指出哪條路没人走。把抓取分布和站内结构對照起来看，通常就能找到几個具体、可以動手的位置。