做蜘蛛池的人常會問一個問题：這几天蜘蛛到底来了多少。回答之前，得先确定資料是從哪来的。第三方統計工具、站長平台後台、服務器原始日誌，三者的口径往往對不上，差距可能有好几倍。搞清楚差异在哪，比盯着某一個數字更有用。
為什么優先看服務器原始日誌
統計工具通常在頁面里插一段 JS，只有能执行脚本的訪問才會被记錄。搜尋蜘蛛一般不执行 JS，所以它在統計工具里经常是隐身的。站長平台的資料来自搜尋引擎自己，可信度較高，但只覆盖该引擎，而且有延迟，通常按天匯總，看不到分钟級的细节。
服務器日誌是原始记錄，谁在什么時間請求了哪個 URL、返回了什么狀態碼，都在里面。它不完美，但它是少數能同时看到蜘蛛與非蜘蛛請求的地方，做交叉判断时最有價值。
一條日誌里有哪些字段值得看
- 来源 IP：判断归属網段，也可用于反向解析驗證。
- 時間戳：看抓取集中在哪些时段。
- 請求方法：蜘蛛以 GET 和 HEAD 為主，大量 POST 基本可以排除。
- URL 與查询參數：看它進了哪些入口，是否在參數上打轉。
- 狀態碼：200、301、403、404、5xx 各自的比例。
- User-Agent：只是线索，不能單獨作為判断依據。
- 响應大小與耗时：判断是否存在大量空响應或超时。
統計口径不同，结论會差很多
同样一段日誌，至少可以拆出三種數字：
- 原始請求數：包括所有资源請求，图片、CSS、favicon 都算，數字最大，也最容易誤導。
- 頁面級請求數：只統計 HTML 文档，更接近蜘蛛抓了几個頁面。
- 去重 URL 數：同一個 URL 被反复抓十次也只算一個，反映的是覆盖量而不是抓取量。
如果入口頁带缓存或走了 CDN，源站日誌可能根本没有這次請求的记錄，數字會比實际少。反過来，如果日誌把健康检查、探针請求也算進去，數字又會虚高。
從日誌里能讀出的几個信号
抓取时段分布
把一天切成小时看請求量，能看出蜘蛛是集中在一個窗口来，還是零散分布。如果连續几天某個时段突然空了，先查那段時間服務器有没有異常、有没有触發限流。
狀態碼结构
200 占绝大多數是正常狀態。如果 5xx 比例上升，說明服務端不稳定；403 增多，可能是風控規則誤伤；404 大量出現，通常是入口頁里的連結指向了已经不存在的地址。
抓取路径
按時間排序，看蜘蛛從哪個 URL 進来、接下来抓了什么。如果它總在第一层就离開，說明頁面里可跟随的連結太少，或者連結藏在需要脚本渲染才能出現的位置。
几個常见的誤判
- 把掃描器当蜘蛛：請求集中在後台路径、配置文件、已知漏洞地址上，這基本不是搜尋蜘蛛。
- 只看總量不看比例：總量翻倍，但里面多的是重复抓取同一個 URL，實际覆盖並没有增加。
- 日誌保留太短：只留三天，看不出周級別的波動，也判断不了調整之後有没有效果。
- 忽略缓存层：只分析源站日誌，會把 CDN 命中的那部分流量完全漏掉。
實操上的几点建议
- 日誌至少保留 30 天，按天切分，便于對比。
- 先用 UA 做初筛，再用 IP 段和反向解析做二次確認，两步都過再計入蜘蛛請求。
- 把頁面請求單獨拆出来統計，別和静態资源混在一起。
- 做一份简單日报：總請求、頁面請求、去重 URL 數、狀態碼分布，四個數就够了。
- 改動入口頁结构或連結之後，至少观察一周再下结论，蜘蛛的反馈不會当天就到。
日誌不會告诉你蜘蛛喜不喜欢你的站点，它只會如實记錄谁在什么时候請求了什么。把這份记錄讀准，比追求某個漂亮的數字更有意义。