第三方工具给出的抓取統計大多是匯總過的數字，而服務器訪問日誌保留的是每一條原始請求：谁在什么时候、請求了哪個地址、返回了什么。對于關注搜尋蜘蛛、URL 發現這類工作的站点来说，日誌是最接近現场的證據。它不解决所有問题，但能让你在判断之前先有事實。
先確認日誌里到底有哪些字段
動手分析之前，先打開一份日誌看看格式，常见字段包括：
- 訪問 IP 與請求時間（注意时区）；
- 請求方法與完整 URL，含問号後面的參數；
- HTTP 狀態碼；
- 响應体大小；
- User-Agent；
- Referer。
有一個容易被忽略的前提：如果站点前面挂了 CDN 或反向代理，日誌里记錄的可能是节点 IP，真實訪客地址在 X-Forwarded-For 一類的头部里。這種情况下直接做統計，蜘蛛识別和频次計算都會失真。先把這一层確認清楚，再谈後面的分析。
把搜尋蜘蛛的請求筛出来
只看 User-Agent 是不够的，UA 可以随意伪造。稳妥的做法是两步走：先按關鍵詞粗筛，再對出現的 IP 做反向 DNS 查询，核對域名归属是否與官方声明一致。
- 按 UA 過滤出疑似蜘蛛的請求行，形成初步样本；
- 對样本里的 IP 逐個做反向解析，並检查正反向是否對應；
- 把確認過的地址段整理成白名單，後續統計只認這份名單。
這样做的好處是结论可信。否則很容易把各種采集程序当成搜尋蜘蛛，進而得出"抓取量在涨"這類错誤判断，把运营方向带偏。
值得長期盯住的几個指标
- 每日抓取請求數：看趋势比看單日數字重要，是缓慢下滑還是某個時間点骤降；
- 狀態碼分布：200、301、404、5xx 各占多少，5xx 意味着蜘蛛白跑一趟；
- 被請求最多的目錄與地址：能看出抓取兴趣集中在哪些栏目；
- 新地址首次被抓的時間：從内容發布到被發現，間隔大概多久；
- 抓取深度與频次：同一来源一天来多少次，是否反复集中在少數頁面。
這些數字不需要天天精算。形成一段時間的基线之後，真正有價值的信息是"偏离基线"，而不是绝對值本身。
几種常见情况怎么讀
只抓首頁，内頁几乎不動
多數时候是入口問题：内頁缺少足够的站内連結，或者列表頁依赖脚本渲染、被參數打散，蜘蛛進不去。回到導航和栏目结构上找原因，通常比反复提交地址更有效。
404 集中在舊路径
說明舊地址仍被外部引用，或者站内還有連結指向老结构。有内容價值的舊地址做 301 指向新頁，确實不存在的让它稳定返回 404，不建议用 200 返回一個空頁面。
5xx 與超时明顯
检查服務器资源占用、資料库慢查询、缓存命中情况。连續的服務器错誤會让蜘蛛降低来訪频率，恢复也需要一個過程，越早處理越省事。
參數地址被反复抓取
站内搜尋、篩選、排序生成的组合地址容易無限膨胀。可以考虑用 robots.txt 規則、canonical 标注或參數規范化来收敛，而不是在日誌里一條條盯着看。
把日誌纳入日常节奏
建议完整日誌至少保留 30 天，按周做一次粗筛，按月對比趋势。挑一套顺手的命令行组合或分析脚本固定下来，別每回都從零開始。同时注意日誌本身的管理：里面可能包含訪客 IP 和查询串，訪問權限和保留期限都要有说法，不要让它被公開訪問到。
日誌不會直接带来排名，但它能告诉你：站点的哪些部分正在被看到，哪些部分一直没人来。把這两件事分清楚，运营動作才有落点。