後台的抓取統計通常只给一個總數：今天蜘蛛抓了多少條。但蜘蛛具体走了哪條路、在哪一层拐弯、哪些頁面反复来、哪些目錄一次都没進，這些信息只留在服務器日誌里。想把抓取這件事看明白，日誌是最原始也最诚實的一份材料。
报表和日誌的差別在哪
报表是聚合後的结果，日誌是逐條請求的流水。前者告诉你“抓了多少”，後者告诉你“抓了谁、什么顺序、拿到什么回應”。当你想知道某個栏目為什么迟迟没有動静、某個頁面為什么天天被抓，答案基本都在日誌的 URL 列表里。
第一步：先把真蜘蛛和噪音分開
日誌里自称蜘蛛的請求很多，不能照單全收。至少做两层過滤：一是核對 User-Agent 是否與官方公布的一致，二是對關键 IP 做反向 DNS 校驗。過滤完之後，再把静態资源（CSS、JS、图片）和頁面請求分開放，两者對抓取額度的意义完全不同。
第二步：按狀態碼拆開看
- 200 居多：說明路径走得比較顺，接下来重点看重复率。
- 3xx 集中出現：注意是不是有跳轉鏈，蜘蛛每次都要多花一跳。
- 404 / 410 反复出現：多半是内鏈或 Sitemap 里還挂着已经失效的地址，属于纯粹的浪費。
- 5xx 出現在固定时段：可能是服務器压力或定时任務撞车，蜘蛛拿到错誤後短時間内不會再来。
第三步：按目錄和 URL 模式归類
把所有頁面請求按一級目錄、二級目錄分组，統計每個分组的請求條數和獨立 URL 數。两個數字放在一起看，能看出不少問题：
- 請求條數高、獨立 URL 少：說明蜘蛛在同一批頁面上打轉，通常是分頁、篩選參數或排序連結造成的。
- 請求條數低、獨立 URL 也低：這個目錄可能根本没有入口，蜘蛛走不進来。
- 獨立 URL 數量和 Sitemap 提交量差得遠：一部分地址被提交了，但從来没有被訪問過。
第四步：還原一條抓取路径
挑一個具体頁面，把同一時間段内的相關請求按時間排序，就能大致還原蜘蛛的行走顺序：
- 找到首頁或栏目頁的請求時間。
- 看紧随其後被請求的是哪些連結，顺序通常和它們在頁面里的位置相關。
- 看這條鏈在第几层断掉：是連結没被抓，還是抓了但狀態碼不對。
- 记錄断点前後的 URL，回头检查這些位置的内鏈和跳轉設定。
做几次之後，你會發現常见的断点就那几種：導航里漏了入口、列表頁只暴露前几頁、正文里的連結指向了带參數的版本。
第五步：把日誌结论落回结构
日誌分析本身不解决問题，它只是把問题定位到具体 URL。接下来要做的動作通常很有限：把失效連結從内鏈和 Sitemap 里去掉，把重要頁面往层級更浅的位置挪，把被反复抓的低價值參數地址收敛一下，確認服務器在蜘蛛活跃时段是稳的。
日誌是观察工具，不是優化按钮。它告诉你蜘蛛實际走了什么路，剩下的還是要在站点结构上動手。
看日誌的周期和频率
不需要每天盯着看。站点结构没有大改動时，按月抽一两天完整日誌做對比就够了；改版、上新栏目、調整 Sitemap 之後的几天，可以密集看一次，確認蜘蛛的路径有没有跟着變化。把它当成一次体检，而不是日常监控的负担。
抓取路径這件事，很多时候不是蜘蛛不愿意走，而是我們没把路铺平。日誌只是帮你把這段路走一遍，看清哪里断了。