後台工具给出的抓取資料通常是匯總和抽样後的结果，而服務器日誌记錄的是每一次真實請求。两者對照着看，往往能發現後台看不到的细节：某個目錄被反复抓取、某類參數被無限组合、某段時間蜘蛛几乎没来。
下面是一份偏實操的日誌自查清單，适合按周或按月做一次。不需要复杂的分析系統，先用命令行和表格工具把基本情况看清即可。
為什么值得單獨看日誌
後台报表回答“有多少”，日誌回答“是谁、在什么时候、用什么方式、拿走了什么”。当頁面迟迟没有被處理时，日誌能帮你判断是蜘蛛根本没来，還是来了却被某種規則挡在门外，又或者抓到的一直是错誤狀態碼。這几種情况的處理方式完全不同。
日誌里優先關注的字段
- 時間：先確認服務器时区，否則凌晨和上午的记錄會整体错位。
- 客戶端 IP：用于核對来源，也是辨別真假蜘蛛的第一條线索。
- User-Agent：蜘蛛名稱、版本、所属平台通常寫在這里。
- 請求方法與 URL：看蜘蛛主要落在哪些目錄，是否集中在少數模板頁。
- 狀態碼：2xx、3xx、4xx、5xx 的分布，是判断抓取是否顺畅最直接的依據。
- 响應大小與耗时：異常大的响應和明顯偏長的耗时，常常是抓取效率的瓶颈所在。
区分真實蜘蛛和伪装請求
User-Agent 可以随意伪造，單看字符串並不可靠。建议把下面几項组合起来判断：
- 對 IP 做反向解析，確認域名归属與声明的蜘蛛一致，再正向解析回同一 IP。
- 核對 IP 是否落在官方公布的地址段内，地址段會更新，不要沿用很久以前的舊列表。
- 看訪問频率模式：真實蜘蛛通常有較稳定的間隔和並發特征，伪装脚本往往忽快忽慢或持續高频。
- 看請求范围：只盯着少數几個地址反复抓的，多半不是搜尋引擎蜘蛛。
從日誌里能讀出什么
抓取频次與时段分布
把每天的蜘蛛請求數拉成一條曲线，看整体趋势是稳定、下降還是骤降。如果從某天開始明顯减少，先排查当天是否有改動：規則文件、跳轉配置、服務器防火墙、缓存策略。把這些時間点和曲线對齐，因果關系通常一目了然。
狀態碼分布
重点看两類：一類是 5xx，說明服務器端有問题，蜘蛛来一次吃一次閉门羹；另一類是 404 和 403 的集中出現，往往意味着站内有失效入口，或者某條規則挡住了不该挡的目錄。把這些地址整理成清單，逐個確認是修复、跳轉還是彻底移除。
抓取深度與目錄分布
統計蜘蛛請求落在哪些一級目錄，能看出它認為哪里重要。如果首頁和列表頁占了绝大多數，而内容頁很少被訪問，問题通常出在站内入口不足或层級過深。反過来，如果某個几乎不更新的老目錄還在被反复抓取，可以考虑收敛入口、减少暴露面。
參數與低價值 URL
日誌里经常出現带排序、篩選、追踪參數的地址被大量抓取。把這些模式归並後看總量，如果占比明顯偏高，說明參數组合正在消耗訪問額度，需要從入口、規則或連結生成方式上做限制。
留存與轮轉的几個注意点
- 保留周期：至少覆盖一個完整的抓取周期，建议按月压缩归档，不要只留最近七天。
- 时区统一：服務器、日誌、後台报表三者时区保持一致，否則資料對不上。
- 磁盘與性能：日誌寫入量大的站点要提前设好轮轉和压缩，避免占满磁盘影响服務。
- 隐私與權限：日誌含訪問者信息，查看權限與資料脱敏按實际合規要求處理。
一份可以照着做的自查清單
- 確認日誌是否完整记錄、时区是否正确、轮轉是否正常。
- 筛出蜘蛛請求，統計總次數與每日趋势。
- 抽查 IP 归属，剔除伪装請求後再做統計。
- 按狀態碼分组，列出 5xx 與集中 404 的地址。
- 按一級目錄統計請求占比，找出被冷落和被過度抓取的部分。
- 归並參數類 URL，评估低價值地址的占比。
- 與後台报表交叉驗證，记錄差异並跟進異常項。
日誌分析不必一開始就做得很精细。先把狀態碼和目錄分布看清，能回答“蜘蛛来了没有、拿到了什么”這两個問题，就已经比多數站点走得靠前。
最後提醒一点：日誌是證據，不是结论。看到異常先提出假设、再動手驗證，改動前後各留一份日誌做對比，才不至于把正常波動誤判成故障。