蜘蛛来没来、来了多少、看了哪些頁面，這些信息大多能在服務器日誌里找到。與其凭感觉猜，不如定期翻一翻訪問日誌，把抓取情况變成可见的資料。
為什么值得花時間看日誌
站点地图提交、内鏈調整、内容更新這些動作做完之後，效果往往不會立刻顯現。日誌是少數能直接反映蜘蛛行為的原始记錄：哪個時間段来訪、抓了哪些目錄、遇到多少 404、有没有因為超时中途放弃。看懂這些，後續的調整才有依據。
先分清两類日誌
- 訪問日誌：记錄每次請求的 IP、時間、URL、狀態碼、User-Agent、响應大小。蜘蛛来訪主要看這里。
- 错誤日誌：记錄程序报错、超时、權限問题。訪問日誌里出現大量 5xx 时，通常要回到错誤日誌找原因。
大多數环境里，訪問日誌按天切分，文件名带日期。压缩归档的老日誌別急着删，做前後對比时會用到。
日誌里重点看什么
来訪频率與時間分布
把蜘蛛的 User-Agent 過滤出来，按小时或按天統計請求數。正常抓取通常有比較規律的节奏；如果某天突然归零，先检查是不是防火墙改了規則、robots.txt 寫错了，或者服務本身宕過机。
狀態碼分布
按狀態碼分组是最快的体检方式：200 說明正常返回；301、302 集中在某些地址，可能意味着跳轉鏈太長；404 扎堆的目錄，往往有失效連結或改版遗留；5xx 一旦出現，說明服務器在蜘蛛来訪时没扛住，這類問题優先級最高。
抓取集中在哪些目錄
統計被請求 URL 的前缀分布，能看出蜘蛛的偏好。如果列表頁被反复抓取，而詳情頁很少出現，可能是入口太浅、分頁太多，或者詳情頁在頁面里没有被真正連結出来。
响應時間與抓取深度
日誌里一般有响應耗时字段，慢請求集中在哪類頁面，一眼就能看出来。另外可以观察蜘蛛單個會话内连續請求的 URL 數量，數量長期偏低，通常和站点结构、内鏈密度有關。
常见的几類異常
- 同一個 URL 一天被重复抓取几十次，可能是參數组合或跳轉導致地址不唯一。
- 抓取量忽高忽低，往往和内容更新节奏不稳定有關。
- 只抓首頁和少數几個栏目頁，深层頁面長期没有记錄。
- 出現大量非公開路径的請求，說明某些内部地址被暴露在外鏈或站点地图里。
一個简單的排查流程
- 取最近 7 天的訪問日誌，筛出蜘蛛請求。
- 按天統計請求總量和狀態碼分布，建立一條基线。
- 列出被訪問最多的 100 個 URL，检查是否符合预期。
- 列出 404 和 5xx 的 URL，逐條確認是修复還是保留失效。
- 把结论记下来，和上一次對比，观察變化趋势。
日誌分析的價值在于對比。單看一天的資料很难判断好坏，连續观察几周之後，才容易分辨哪些是正常波動、哪些是真的異常。
把结论落回具体動作
看日誌不是目的。發現某個栏目頁長期没有来訪记錄，就去补内鏈入口；發現 5xx 集中在某個接口，就去查服務器和資料库；發現跳轉鏈太長，就整理 301 映射。每一次观察都對應一個可以执行的小動作，积累起来，站点的抓取状况才會慢慢變好。