抓取日誌是站長能直接看到蜘蛛行為的少數資料之一。它不像後台报表那样已经加工過，而是原始請求记錄，好處是能回答一些很具体的問题：蜘蛛什么时候来、来了抓什么、抓到了什么狀態碼、哪些頁面被反复抓却没什么變化。
日誌里優先關注的几列
- 請求時間，注意时区
- 請求的完整 URL
- 返回狀態碼
- 响應体大小與响應耗时
- User-Agent 與客戶端 IP
前几列能拼出抓取节奏和浪費情况，後两列用于核驗是不是真的搜尋蜘蛛。如果日誌里带 referer，還能看出蜘蛛是顺着哪條連結走到這個 URL 的，對判断「哪些入口在起作用」很有帮助。
從時間分布看抓取节奏
把一天或一周的請求按小时聚合，能看出蜘蛛大致在什么时段活跃。多數站点的抓取會落在服務器负载相對較低的時間段。如果發現抓取高峰正好撞上业務高峰，可以考虑错峰發布内容、提前做好缓存。
更值得注意的是耗时。如果日誌记錄了响應時間，把狀態碼 200 的請求按耗时從大到小排，排在最前面的一批，往往就是拖慢整体抓取效率的原因。
URL 分布：反复抓的與從未抓的
按 URL 分组統計訪問次數，通常會出現三類頁面：被高频訪問的，一般是首頁、列表頁和少數權重頁；訪問频率正常的詳情頁；以及一次都没有出現過的。第三類最值得查——它們是被 robots 規則挡住、被内鏈孤立，還是压根没有提交過。
高频组也要看内容是否變化。如果某個 URL 每次抓取返回的正文几乎一样，却在日誌里占了很大比例，說明這個頁面要么是聚合頁，要么是參數生成的重复地址，值得收一收。
狀態碼组合能暴露鏈路問题
單個 404 不可怕，可怕的是同一批 URL 反复 404，或者 301 的目标本身又指向 302。把日誌按 URL 聚合後再看狀態碼序列，比較容易發現重定向鏈里的断点。
5xx 和 429 出現的时段也要留意。如果 429 集中在某個目錄，通常是该目錄頁面太多、更新又太频繁，蜘蛛在主動降速；如果 5xx 集中在某個时段，多半是後端在那段時間不稳定。
排查顺序建议
- 先確認訪問者身份，排除伪装 UA 的爬虫，否則後面的統計會被污染。
- 再看整体趋势，抓取量是升、是降還是平稳，避免拿一两天的抖動下结论。
- 接着看 URL 分布，找出高消耗、低價值的那部分。
- 最後看狀態碼和响應耗时，定位具体环节的瓶颈。
日誌只是线索。重要改動前後各留一段對比資料，比單看某一天的數字更有參考意义。
几個容易踩的坑
一是日誌轮轉把關键时段覆盖掉了，改版前後最好單獨留存一份；二是只統計次數不看体积，抓一個两兆的頁面和抓十個二十 K 的頁面，開销完全不同；三是忽略时区，跨时区服務器上看到的時間分布會整体偏移，判断活跃时段时容易出错。
把這些都看下来會發現，日誌的價值不在于「蜘蛛今天来了多少次」，而在于能回答两個問题：它在哪儿浪費時間，以及哪些頁面它根本没看到。這两個答案，通常比次數本身更有行動價值。