服務器的訪問日誌是少數能直接看到搜尋引擎蜘蛛在做什么的地方。很多人装了統計工具，只看每天總抓取次數，數字涨了就放心，跌了就紧張，却很少打開原始日誌看具体抓了哪些地址、返回了什么狀態。结果是日誌一直在寫，問题也一直在里面躺着。
日誌里值得關注的几類信息
不同服務器的日誌格式略有差別，但常见字段基本一致。挑出下面几項，就够做一次基础自查：
- 時間：抓取集中在哪個时段，是持續均匀還是短時間爆發。
- IP 與 User-Agent：用来判断来源是否真的是搜尋引擎，還是被伪装成蜘蛛的采集脚本。
- 請求 URL：蜘蛛實际訪問了哪些路径，是否反复爬同一批地址。
- 狀態碼：200 之外的部分往往更值得看。
- 响應時間與字节數：响應慢、返回体異常小的地址，通常有問题。
几種常见状况
一、只看總量，不看分布
一個站通常有新内容頁、栏目頁、歷史归档頁。如果日誌里绝大部分請求都落在歷史归档頁，新文章只被訪問過一两次，說明入口分配存在問题，蜘蛛在舊内容里打轉，没有顺利發現新的地址。這时候要回头检查内鏈、栏目更新和列表頁排序方式。
二、狀態碼長期異常
把日誌按狀態碼匯總一遍。3xx 過多說明跳轉鏈没收拾干净；4xx 集中在某些目錄，可能是連結寫错或頁面已下线但入口還在；5xx 哪怕占比很小，也會让蜘蛛降低對服務器的信任，抓取节奏随之變慢。响應時間持續偏高的地址，可以對照看看是不是查询太重或资源太大。
三、UA 與来源真假不分
日誌里出現自称蜘蛛的請求，並不一定是真的。可以用反向解析 IP 的方式核對，或者观察訪問路径：真蜘蛛一般會沿内鏈走，行為有規律；伪装的采集往往直接掃參數、掃後台地址，UA 却寫得很像。這類請求不该混進抓取质量的判断里。
四、日誌只存不留
有些服務器預設按周切割並很快刪除，等發現問题时已经没有歷史可比。保留一到三個月的日誌，出問题时才能做前後對比。日誌本身占空間，可以压缩归档，但不要当场清空。
一個简單的排查顺序
- 先筛出来源為搜尋引擎的請求，去掉明顯伪装的部分。
- 按狀態碼匯總，标出 3xx、4xx、5xx 的占比與主要地址。
- 按目錄或栏目归類，看抓取量集中在哪些路径。
- 挑出响應時間最長的若干地址，检查是不是慢查询或大文件。
- 對比上一周期，找出新出現的問题地址，再回到站内處理。
日誌不會自己變成结论，但它是少數不经過中間层、能直接反映蜘蛛行為的資料。定期翻一翻，比只盯總量更有用。
需要說明的是，日誌分析能帮你發現线索，但不代表處理之後一定會带来收錄或排名變化。它的價值在于把猜测變成可核對的事實，把该修的問题先修掉。