抓取統計面板给的是聚合後的概览，有延迟也有采样。当你想弄清楚某個目錄是不是根本没被爬、某個 5xx 是不是一直在發生、哪些參數 URL 被反复訪問时，服務器日誌往往是唯一能给出直接答案的地方。它不依赖第三方口径，站点自己就能留下證據。
日誌不會告诉你頁面應该怎么改，它只告诉你實际發生了什么。把實际和预期放在一起對照，判断才有依據。
一條日誌里值得看的字段
- 請求時間：看抓取的時間分布，判断是否落在站点低峰，也方便和服務器负载曲线對齐。
- 客戶端 IP 與反向解析：IP 段和反向 DNS 是核驗蜘蛛身份的基础，只看 User-Agent 並不可靠。
- User-Agent：用来区分不同来源的抓取，也用来和 IP 核驗结果交叉比對。
- 請求方法與 URL：能看出抓取路径，判断蜘蛛是不是長期在列表頁打轉。
- 狀態碼：200、301、404、410、5xx 各自的比例和變化趋势。
- 响應時間與响應字节數：字节數異常偏小，往往意味着空壳頁、错誤頁或渲染不完整。
- Referer：能還原蜘蛛是從哪個連結走到這個 URL 的，對排查内鏈结构很有用。
日常该盯的几個指标
抓取總量與分布
先看總量有没有突變，再看它分布在哪些目錄。如果八成抓取都集中在少數几個列表頁，深處頁面很难获得机會。反過来，如果某個新上线的目錄在日誌里几乎不出現，就要检查它是否被内鏈和 Sitemap 覆盖到。
狀態碼构成
5xx 的比例最需要盯，尤其是持續多天出現的同一批 URL，通常指向後端超时或资源瓶颈。404、410 集中出現，則要回头检查内鏈和 Sitemap 里是否残留了過期地址。301 鏈路過長也值得注意，跳轉鏈條越長，抓取效率损耗越大。
抓取路径與重复訪問
看深度分布：是首頁到栏目再到詳情逐层展開，還是大量 URL 都停留在浅层。同时留意同一 URL 在内容没有變化的情况下被频繁訪問，這類重复抓取會占用本可以分给其他頁面的額度。
响應時間
把蜘蛛的抓取时段和站点的慢响應时段叠在一起看。如果抓取高峰正好撞上資料库压力最大的时段，蜘蛛拿到超时的概率就會明顯上升，這属于服務端問题，不是内容問题。
几個容易誤讀的地方
- 日誌條數多不等于收錄多，抓取和收錄是两件事。
- 單日波動說明不了趋势，至少看周维度的走向。
- 蜘蛛来得勤，不代表頁面會被收錄或获得排名。
- UA 字符串可以伪造，核驗身份還要看 IP 归属和反向解析结果。
把日誌轉成可执行的清單
- 设定日誌保留周期，至少覆盖一個完整的内容更新周期，便于前後對比。
- 按目錄、狀態碼、来源做分组統計，形成一份固定的周报。
- 把日誌里出現的 URL 和 Sitemap、内鏈清單對照，找出该被爬却没有出現的頁面。
- 對反复出現的 5xx 和超时，先修服務端，再谈抓取優化。
- 對參數頁和重复 URL 做收敛，减少無意义的抓取消耗。
- 完成調整後再观察一轮日誌，比較調整前後的差异，而不是凭感觉判断有效。
一点提醒
日誌是观察工具，不是優化捷径。它能帮你定位問题發生在哪一层——连接、服務端、内鏈還是内容本身，但不能替你决定某個頁面是否值得存在。把日誌结论落到具体動作上，再回来看資料有没有變化，這個循环比反复刷新統計面板有用得多。