蜘蛛池跑起来之後，大多數人能看到的只有两個數字：入口頁放出去多少、蜘蛛来過多少次。但真正能指導下一步動作的信息，几乎都藏在訪問日誌里。日誌不會告诉你排名，也不會告诉你收錄，它只回答一個問题：蜘蛛到底在你的頁面上做了什么。
日誌里先看哪几個字段
不管用 Nginx、Apache 還是對象存储的訪問日誌，核心字段都差不多，先把這几項筛出来：
- 時間：注意服務器时区，日誌時間和你看資料的時間對不上，是很多誤判的起点。
- 来源 IP：用来反查归属，判断是不是真實搜尋引擎的出口。
- User-Agent：只作參考，UA 本身可以伪造。
- 請求 URL：区分是入口頁、内頁還是静態资源。
- 狀態碼：200、301、404、403、429、5xx 的比例，比總量更有意义。
- 响應耗时：慢請求是否集中在某類頁面上。
如果日誌里连這些都不全，先补日誌格式，再谈分析。
哪些记錄值得留下
日誌量通常很大，全留成本高，全丢又没法复盘。可以按下面的優先級保留：
- 入口頁的首次抓取记錄，這是判断一個新入口有没有被發現的最直接證據。
- 同一 URL 的重复抓取間隔。間隔稳定說明抓取节奏正常，忽長忽短往往意味着站点存在不稳定因素。
- 非 200 的记錄，尤其是 5xx 和 429，它們會直接影响後續抓取意愿。
- 抓取路径，也就是同一次會话里连着請求了哪些 URL，可以看出蜘蛛是否顺着内鏈繼續往下走。
哪些是噪音，別当成效果
- 健康检查與监控探针：来自负载均衡或 CDN 回源，UA 经常寫成常见的抓取工具名。
- 静態资源重复請求：CSS、JS、favicon、图片，數量大但不代表頁面正文被讀取。
- 掃描器與采集工具：短時間内大量請求不同路径，狀態碼以 404 為主。
- robots.txt 的高频請求：偶尔来一次正常，几十秒一次一般属于異常。
把總請求數当成抓取量，是日誌分析里最常见的一步走偏。真正要盯的是獨立 URL 數，而不是請求條數。
几個容易踩的誤区
第一，只看總量不看分布。一天来了一千次請求，但如果九成打在同一個入口頁上，另外几十個入口其實根本没被碰過。第二，把 CDN 缓存命中记成蜘蛛抓取，實际源站压根没收到請求。第三，日誌没做時間校准，跨时区統計出来的“高峰时段”是假的。第四，样本太少就急着改策略，三天的資料和三周的資料可能得出完全相反的结论。
還有一点常被忽略：IP 属于可识別信息，日誌留存要有明确期限，導出分析时最好做脱敏，只保留網段和必要字段。
從日誌到動作
日誌本身不产生價值，能落成動作才有用。可以按這個顺序复盘：
- 连續多個周期都没有抓取记錄的入口頁，考虑更換或下线。
- 被抓取但從不深入内頁的入口頁，检查内鏈和出口是否被挡住。
- 5xx、429 集中的頁面，優先排查服務器與限流配置。
- 抓取频繁但狀態碼長期異常的资源，及时清理，別繼續消耗抓取预算。
最後提醒一句：日誌是观察工具，不是效果證明。它能帮你判断入口有没有被看到、有没有被顺利讀取，但推導不出收錄或排名结果。把指标定清楚、把观察周期拉長、把结论落成具体改動，日誌才不算白记。