很多站点运营者看抓取情况，习惯打開統計後台看一個總數：今天蜘蛛来了多少次。這個數字能给你一個大致的量級，但回答不了更具体的問题——蜘蛛到底抓了哪些地址、哪些地址反复被抓、哪些地址一直在报错。想知道這些，還是得回到服務器上的原始訪問日誌。
統計报表看不到的東西
統計工具通常會做聚合和采样，也會過滤掉一部分它認為不重要的請求。结果是：一個被反复抓取、每次都返回 404 的地址，在报表里可能只是一條不起眼的记錄；而一個真正需要被發現的栏目頁，反而因為訪問量小而沉在列表底部。原始日誌不做這些取舍，它就是服務器收到請求的顺序记錄，有什么寫什么。
日誌里值得先看的几個字段
- 時間：確認服務器时区設定，不然跨天段的抓取节奏判断會错位。
- 請求方法與完整 URL：带上查询串，才能看出蜘蛛是在抓同一個地址的不同參數组合。
- 狀態碼：200、301、404、5xx 的分布，是判断抓取健康度最直接的一列。
- 响應体大小：返回 200 但字节數极小，往往是個空壳頁或错誤頁。
- User-Agent：用来区分不同来源的抓取者，也方便核對是否有伪装請求。
- Referer：能看出蜘蛛是從哪個頁面顺着連結爬過来的，對判断内鏈结构有用。
如果日誌格式里没有响應時間或上游耗时字段，可以在反向代理或應用层补上，排查慢頁面时會方便很多。
几種值得警惕的抓取模式
同一地址被高频重复抓取
短時間内在同一個 URL 上出現大量請求，通常意味着頁面返回了不稳定狀態，或者该地址被多個入口反复指向。前者要先查服務器，後者要回到内鏈和站点地图去看。
错誤地址長期占據抓取量
如果日誌里排名靠前的地址有一批固定返回 404，說明站点上還有地方在連結它們。這類地址不會自己消失，找到連結来源並處理掉，抓取量才能腾出来。
蜘蛛只停留在列表頁
列表頁被抓了很多次，詳情頁几乎不见踪影，一般不是蜘蛛不愿意進，而是進入路径有問题：連結不可点、需要交互才展開、或者层級太靠後。
抓取集中在一两個栏目
少數栏目吃掉了大部分抓取次數，其他栏目長期没有新鲜請求，可能和内容更新节奏、栏目入口位置有關，值得和内容排期放在一起看。
一份可以照着做的自查步骤
- 先按天切分日誌，找出抓取量最高的一天和最低的一天，看差异出現在哪些地址上。
- 按狀態碼分组統計，列出非 200 的地址清單，按出現次數排序。
- 從清單里挑前 20 條，逐條到站内搜尋這些地址，確認是死鏈、被删内容，還是參數组合。
- 按 URL 前缀做一次粗分類，看看抓取是否集中在少數目錄下。
- 把發現的問题分成两類：能在站内修的（連結、規則、结构）和需要在服務器侧處理的（狀態碼、限流、响應時間）。
- 處理完记錄一次基线資料，隔一两周再跑同样的統計做對比。
几個容易踩的坑
- 只保留最近几天日誌。出問题时往往需要往前翻更長時間，日誌轮轉策略最好先確認。
- 把日誌里的異常抓取直接当成恶意流量。有些其實是站内連結問题造成的，先排查自身。
- 只盯着總量不看结构。抓取次數涨了，不代表抓對了地方。
- 改完就期待立刻變化。抓取节奏的調整通常需要一段時間，才能在新的日誌里反映出来。
日誌不會告诉你该怎么办，但它能告诉你發生了什么。先把事實看清楚，再决定要不要動结构。
抓取日誌的價值在于它是原始事實，而不是经過加工的结论。养成定期翻一翻的习惯，比堆砌更多工具更容易發現問题。