搭好蜘蛛池之後，很多人习惯盯着入口頁能不能打開、返回值對不對，却很少去看日誌。實际執行中，入口頁是否還在被蜘蛛訪問、訪問的是哪些 URL、返回了什么狀態碼，答案几乎都在 access log 里。日誌不是用来數數的，而是用来判断入口頁目前狀態的。
先搞清楚你看到的日誌是谁的
同一個入口頁，可能同时存在几份日誌：CDN 邊缘节点的訪問日誌、源站 Web 服務器的日誌、以及中間反向代理的日誌。這三者的记錄口径並不一致。
- CDN 日誌记錄的是真實訪客和蜘蛛到邊缘节点的請求，包含被缓存命中的請求，通常能看到完整 UA 和客戶端 IP。
- 源站日誌只记錄回源請求，如果入口頁被缓存了大量命中，源站日誌里蜘蛛的记錄會明顯偏少。
- 代理日誌可能把客戶端 IP 寫成上一跳的地址，如果不看 X-Forwarded-For，你看到的 IP 全是内網地址。
只拿源站日誌判断蜘蛛来了多少，很容易得出错誤结论。至少要確認自己看的是哪一层，以及 IP 字段是否已经被還原。
日誌里真正值得關注的字段
日誌格式各家不同，但几個字段是通用的：
- 時間戳：用来算抓取频次，也用来對齐你自己做過的改動時間点。
- 客戶端 IP：用于判断来源分布，但要注意蜘蛛 IP 段會變動，反向解析比單看 IP 更可靠。
- 請求方法與 URL：確認蜘蛛抓的是入口頁本身，還是被带到了參數頁、404 頁。
- 狀態碼：判断入口頁是否對蜘蛛正常返回。
- 响應耗时：過長的耗时往往對應超时和抓取失敗。
- User-Agent：识別蜘蛛類型，但 UA 可以伪造，只能作為參考。
- Referer：有时能看出蜘蛛是從哪條連結進来的。
狀態碼分布比單個請求更有價值
看一行日誌意义不大，要看一段時間内的分布。入口頁正常情况下，绝大多數請求應该是 200；如果 3xx 占比很高，說明跳轉鏈路可能過長或者配置出了問题；如果 4xx 集中在某些 URL 上，說明這些地址已经被蜘蛛记住但已经失效；5xx 出現就值得單獨排查，尤其是集中在某個時間段的情况。
需要提醒的是，蜘蛛遇到 5xx 通常會降低抓取频率，短期内日誌里的訪問量下降，未必是你改了什么東西造成的。
抓取频次和時間的讀法
把日誌按小时聚合，画一條訪問量曲线，能看到不少東西：
- 曲线長期贴着零，說明入口頁可能已经不被抓取，或者連結入口断了。
- 曲线突然抬升再迅速回落，往往是某次集中抓取後的自然衰减，不一定是好事也不一定是坏事。
- 曲线呈現固定的稀疏节奏，說明抓取预算有限，入口頁在被低频巡检。
- 不同搜尋引擎的曲线形態不同，混在一起看會被互相干扰，建议按 UA 或 IP 段分開統計。
几種常见的誤讀
- 把搜尋引擎的预取、预览類請求当成正式抓取，誤以為抓取量很大。
- 把 CDN 的健康检查、监控探针当成蜘蛛，因為它們的 UA 也可能長得像机器人。
- 只看總請求數，不看其中有多少是 404，導致對入口頁质量判断偏高。
- 用日誌里的訪問量去推断收錄量，這两者之間没有直接對應關系。
如果要用日誌判断来源，反向 DNS 解析加 IP 归属核對比單看 UA 靠谱一些，但也只是提高准确度，並不能做到完全准确。
日誌留存與轮轉的實操建议
- 日誌至少保留 30 天，方便做周對比；做趋势分析时保留 90 天更從容。
- 開啟按天切割和压缩，避免單文件過大影响排查速度。
- 把入口頁 URL 的日誌單獨筛出来存一份，分析时不用每次全量掃描。
- 改動入口頁配置或模板时，在运维记錄里标注時間，事後可以直接和日誌曲线對齐。
- 對 5xx 和異常 UA 設定简單告警，比事後翻日誌省力。
日誌本身不會改善抓取，但它能让你在動手調整之前，先知道入口頁現在到底處于什么狀態。多數所谓的蜘蛛池異常，缺的不是技巧，而是一次認真的日誌复盘。