為什么先看日誌
很多人在做蜘蛛池时，习惯用“今天感觉蜘蛛變多了”来判断效果。這種判断在池子規模小、目标站單一的时候還能凑合，一旦池子數量上来，就完全靠不住。更稳妥的做法是回到最原始的證據：服務器訪問日誌。
日誌能回答的問题很具体——谁在什么時間、以什么身份、請求了哪個地址、返回了什么狀態。把這四件事對齐，池子有没有在干活基本就有结论了。
日誌里至少要留的字段
不同 Web 服務器預設记錄的字段差別很大，建议在配置里顯式补齐下面這些：
- 時間戳：精确到秒，带时区，跨地域服務器统一成同一时区更省事。
- 客戶端 IP：這是後續做身份核驗的基础。
- User-Agent：不要只留一個“浏览器”或“其他”的归類，原始 UA 必须落盘。
- 請求方法與完整 URL：包含查询參數，否則看不出參數類地址的抓取情况。
- 狀態碼：2xx、3xx、4xx、5xx 分開統計才有意义。
- Referer：判断蜘蛛是從入口頁爬進来的，還是直接命中某個内部地址。
- 响應時間與响應字节數：這两個字段能看出服務器是否在拖後腿。
如果日誌里只有 URL 和狀態碼，後面做任何分析都會缺一块拼图。
蜘蛛身份怎么核驗
UA 是最容易伪造的字段，單看 UA 就把流量归到蜘蛛名下，很容易把掃描器、采集程序也算進去。相對可靠的顺序是：
- 先按 UA 做一次初筛，把声称是蜘蛛的记錄挑出来。
- 再對 IP 做反向解析或比對官方公布的 IP 段，確認来源是否匹配。
- 最後看訪問行為，比如單位時間内的請求數量、請求路径是否集中在池子入口頁附近。
三步都對得上，才适合当成有效抓取来統計。只做第一步，資料往往會虚高一大截。
留存多久、怎么归档
日誌占磁盘，不留又不行，比較實用的分法是：
- 热資料：最近七到三十天的原始日誌留在线，方便随时查具体某條记錄。
- 冷資料：按月压缩归档，保留聚合後的統計结果，原始文件可以定期清理。
- 統計结果：每日蜘蛛請求數、獨立 IP 數、狀態碼分布這類匯總表，建议長期保留，它們比原始日誌更适合看趋势。
日誌轮轉策略要提前设好，否則某天磁盘寫满，池子跟着一起停下来，排查时反而没有记錄可看。
分析时盯住哪几個變化
日常不需要逐條讀日誌，看几個趋势就够：
- 獨立蜘蛛 IP 數的變化，比總請求數更能說明覆盖范围。
- 狀態碼分布，尤其是 404 和 5xx 突然增多的时段。
- 請求路径的集中度，如果大量請求堆在少數地址上，說明池子的連結结构可能太單薄。
- 响應時間的中位數，明顯變慢通常意味着服務器或带宽先出了状况。
几個常见的记錄盲区
- 站点前面挂了 CDN 或反向代理，源站日誌里全是节点 IP，需要額外记錄真實客戶端 IP 的請求头。
- 日誌按訪問名而不是完整 UA 落盘，事後無法区分不同蜘蛛。
- 只记錄 GET 請求，漏掉 HEAD 之類的探测請求，會低估蜘蛛的活跃程度。
- 多台服務器各自记日誌，没有集中匯總，看起来像“没動静”，其實只是分散在几台机器上。
日誌的價值在于它可以被反复核對，而感觉不行。先把字段留全，再谈分析，顺序反了就會一直在猜。
最後提醒一句：日誌能說明蜘蛛来過，但不能直接推到收錄或排名上。抓取、收錄、展現是三個不同层面的問题，日誌只负责回答第一個。