蜘蛛池跑起来之後，後台面板上那些曲线和數字只能算參考，真正没有经過加工的原始记錄在服務器訪問日誌里。想知道蜘蛛到底来没来、来了看什么、看完有没有走到目标站，日誌是最直接的一份證據。
日誌里值得看的字段
一份标准的 access log 至少包含下面這些信息，缺了哪一項都會让判断變得困难：
- 請求時間與 IP，用来判断抓取的時間分布和来源段；
- User-Agent，用来初步区分蜘蛛類型；
- 請求方法與完整 URL，包括查询參數；
- HTTP 狀態碼與响應体大小；
- Referer，能看出蜘蛛是從哪個入口頁跳過来的；
- 响應耗时，如果服務器配置里開了這個字段。
需要强調的是，UA 是可以随便寫的，單看字符串没有意义。至少要做一次 IP 與 UA 的交叉驗證：反向解析域名、比對已知蜘蛛 IP 段，两者對不上就按伪蜘蛛處理。
先把流量分成三類
日誌里混着的東西很多，笼统統計蜘蛛請求數很容易得出错誤结论。可以按下面的方式先分類：
- 真蜘蛛：IP 落在已知段内，請求間隔有規律，會跟着内鏈往下走；
- 伪蜘蛛：UA 寫着蜘蛛名字，但請求速度极快、URL 顺序跳跃、不解析頁面；
- 掃描與垃圾請求：找後台路径、配置文件、备份文件之類，和内容發現無關。
真蜘蛛的行為才是你要讀的部分，另外两類可以直接過滤掉，否則資料會被嚴重稀释。
從真蜘蛛日誌里能讀出的信号
- 抓取频次與时段分布，看是否集中在某個時間窗，服務器压力是否與它重合；
- 入口頁覆盖率，哪些頁面上线很久却一次都没被抓過；
- 狀態碼分布，5xx 比例高說明服務器在拖後腿，而不是蜘蛛不来；
- 抓取深度，蜘蛛有没有從入口頁走到二跳、三跳；
- 請求之間的間隔，間隔過短說明是程序在跑，不是正常抓取。
几種常见的噪声與誤判
日誌里蜘蛛數量突然翻倍，未必是好事，很可能只是某個采集器換了 UA 在掃你的站。
- 日誌轮轉或按天切割，會让当天的資料看起来變少；
- 接了 CDN 或反向代理後，日誌里的来源 IP 變成回源 IP，UA 驗證會失效；
- 命中缓存的請求不落日誌，蜘蛛抓過但你看不到。
遇到這几種情况，先確認采集鏈路是否完整，再下结论，否則調整方向會完全跑偏。
把日誌變成可执行的動作
- 按 UA 聚合，導出每天各蜘蛛的請求數，做成趋势而不是單日快照；
- 筛出被請求最多、狀態碼却不是 200 的頁面，優先修這些；
- 找出零抓取的入口頁，检查它在站内有没有入口、能否被正常解析；
- 5xx 超過阈值时先降並發、排查服務器問题，別急着改内容；
- 定期對目标站的日誌做一次比對，確認蜘蛛确實從入口頁走到了目标 URL。
日誌分析的意义不在于把數字做大，而在于確認一件事：蜘蛛有没有按你设計的路径走完。如果没有，問题通常出在入口頁的可達性、狀態碼或者内鏈上，而不是蜘蛛池没效果。把這些环节一項項對齐之後，日誌才會變成真正有用的反馈。