蜘蛛池上线之後，很多人每天只看一個數字：今天来了多少蜘蛛。但真正能回答“抓取有没有走到目标頁”“哪一批入口白铺了”這類問题的，是服務器上的訪問日誌。日誌是原始记錄，不會美化，也不會漏记。
日誌里值得看的几個字段
不同服務器软件的格式略有差异，但核心信息差不多：
- IP 與反向解析：確認是不是真蜘蛛，机房 IP 與宣告的 UA 是否對得上。
- UA 字符串：看是哪個搜尋引擎、移動端還是桌面端。
- 請求時間：抓取集中在哪個时段，間隔是否規律。
- 請求路径與參數：蜘蛛到底停在入口頁，還是繼續往目标頁走。
- 狀態碼與响應時間：200、301、404、5xx 各占多少，慢請求有多少。
- Referer：能大致判断蜘蛛是從哪條連結翻過来的。
三種常见的日誌信号
只抓入口，不往目标走
日誌里入口頁反复出現，目标頁几乎為零。常见原因：入口頁到目标頁的連結是 JS 渲染後才生成、連結被 nofollow、或者中間隔了跳轉鏈。可以先在浏览器里關掉 JS 看源碼，確認連結是否直接可讀。
抓取量突然掉下来
同一天對比前一天，如果某個 IP 段的請求數骤降，先排查是不是服務器波動、CDN 或 WAF 在拦、robots.txt 被改過。日誌里出現 403、429 或大量超时，基本能指向同一個方向。
大量 404 和空响應
入口頁退役後連結没撤，蜘蛛會一直撞 404。撞多了，同一批入口的抓取节奏會變慢。把日誌里高频 404 的路径拉出来，能反過来检查蜘蛛池的連結清單是否该清理。
做一份可對比的记錄
日誌每天都在滚動，單看一天的绝對數字意义有限。比較實用的做法是：
- 按天統計各 UA 的請求總數、獨立 URL 數和平均响應時間；
- 把入口頁和目标頁分開记，看两者比例有没有變化；
- 记錄每次改動（改模板、換服務器、加 robots 規則）的日期，方便回溯；
- 每周看一次趋势，而不是每小时刷一次。
和平台資料對照着看
日誌记錄的是“實际發生了什么”，搜尋平台的抓取統計记錄的是“搜尋引擎愿意告诉你什么”。两者有出入很正常：蜘蛛可能抓了但没收錄，也可能抓取被算在別的域名下。如果日誌里蜘蛛明明来過，平台資料却毫無動静，優先怀疑是否被识別為低质量頁面，而不是急着加更多入口。
日誌分析的價值不在“抓了多少”，而在“抓的时候發生了什么”。同样的訪問量，抓在有效頁面上和抓在 404 上，是两件完全不同的事。
几点實践建议
- 日誌至少保留 30 天，方便做同比。
- 给入口頁和目标頁打上可区分的路径前缀，統計时省事。
- 別只看總量，按目錄或批次拆開看，問题往往集中在某一批。
- 發現異常先记錄，再改動。改完前後有對比，才知道有没有效。
蜘蛛池不是铺完就完事的東西，日誌是它比較诚實的反馈渠道。把日誌当成日常巡检的一部分，很多“感觉没效果”的問题，其實是能在資料里提前看出来的。