統計工具给出的是加工後的图表，服務器日誌给的是一行行原始记錄。两者结合看，才能判断某個頁面是真的没人訪問，還是根本没被蜘蛛請求過。日常运营中，建议每周固定花十几分钟翻一遍日誌，重点不是看完，而是找出「和平时不一样」的部分。
日誌里值得重点看的几類信息
- 狀態碼分布：200 之外的比例有多少，404、301、403、5xx 各自集中在哪些路径。
- 爬虫 UA 與来源 IP：哪些是主流搜尋引擎的蜘蛛，哪些是伪装成蜘蛛的采集或掃描。
- 請求路径集中度：如果某個目錄占了全部請求的三成以上，要么它确實重要，要么存在參數组合導致的循环抓取。
- 响應時間：單個請求耗时明顯偏高的接口或頁面，往往是拖慢整站的那几個点。
- 時間分布：抓取和訪問是否集中在深夜或某個整点，這通常和定时任務、缓存刷新有關。
几種常见異常與處理思路
404 數量突然上升
先看這些 404 的来源。如果 Referer 指向站内頁面，說明是内鏈寫错，或頁面被刪除後没有處理；如果来自站外，多半是別人引用了已经失效的地址，可以考虑用 301 指向新的對應頁面，而不是放任不管。
5xx 集中在某個時間段
把出現時間、涉及脚本、机器负载放在一起看，常见原因是备份、批量生成、資料導出這類重任務和訪問高峰撞在了一起。調整执行時間通常比升級配置更划算。
單一 IP 或 UA 高频請求
不一定是恶意行為，也可能是某個监控探针、CDN 回源，或者自己寫的脚本忘了加缓存。先確認来源，再决定是限流、封禁還是修正配置。
蜘蛛只抓首頁和列表頁
說明内鏈把蜘蛛引導到詳情頁的路径太少，或者詳情頁本身缺少可抓取的入口。可以检查列表頁每一條的連結是否是可点击的 a 标簽，而不是靠 JS 事件跳轉。
一份可以照着做的自查清單
- 確認日誌有保留，且至少能查到最近 30 天，日誌被覆盖或不落盘會让排查無從下手。
- 检查日誌時間與服務器时区是否一致，否則跨天分析容易错位。
- 統計每天的請求總量、獨立 IP 數、狀態碼比例，做成一條简單曲线，異常自然就凸顯出来。
- 單獨筛出主流蜘蛛的請求，看抓取量和抓取頁面分布是否稳定。
- 對高频 404 和高频 5xx 各挑出前 10 條，逐個確認原因並记錄處理结果。
- 把發現的問题和改動记在同一個文档里，方便下次對比。
日誌的價值不在「看完」，而在「對照」。同一份日誌單獨看没有意义，和上周、上個月的放在一起，變化才是信息。
两個容易踩的坑
一是把日誌当成安全审計的全部，看到陌生 IP 就封，结果誤伤了正常的监控或合作方回源；二是只盯着數量不看内容，請求量涨了却不知道涨在哪些頁面，最後既没優化到重点，也没防住真正的異常。
日誌只是线索，不是结论。發現異常後，最好再用頁面的實际表現、訪客反馈、抓取工具的資料交叉驗證一次，再動手改配置。這样能避免在排查過程中引入新的問题。