做蜘蛛池的人容易盯着收錄數和權重，但這两個都是结果，中間過程只有一样東西能比較如實地记錄：服務器的訪問日誌。入口頁有没有被訪問、蜘蛛顺着哪些連結走、在哪一步停住，日誌里大多能找到痕迹。先看日誌，再看收錄，判断會稳一些。
日誌里值得留意的几列
多數 Web 服務器的預設日誌格式（例如 Nginx 的 combined）已经够用，重点看這几項：
- UA：用来区分百度、Google、Bing 等蜘蛛，也能暴露伪装成蜘蛛的采集程序。
- IP 與反向解析：UA 可以随便改，IP 段和反查结果更难伪造，两個一起看更可靠。
- 請求路径：蜘蛛具体訪問了哪些入口頁，是首頁、列表頁，還是更深的頁面。
- 狀態碼：200、301、302、403、404、5xx 的占比，直接反映入口頁的健康度。
- 返回字节數與响應時間：一個只有几十字节的 200，往往是被拦截的空頁。
- Referer 與時間戳：能看出蜘蛛是顺着連結爬過来的，還是通過提交的 URL 直接進来的。
三種常见的抓取形態
只抓入口頁，不跟着連結走
日誌里反复出現同一批入口頁，但站内其他頁面几乎没有蜘蛛訪問。常见原因是入口頁本身没有可爬的出站連結，或者連結都藏在 JS 渲染之後、被 nofollow 标注、或者指向了需要登入的路径。這種情况下，入口頁更像一個被單獨訪問的孤立地址，蜘蛛没有理由繼續走下去。
抓一段時間後消失
上线初期蜘蛛来得勤，几周後日誌里几乎看不到。可能是内容長期不變、頁面返回變慢、狀態碼開始出現異常，也可能是同一批 URL 被反复抓取却没有新東西产出，抓取预算自然被調走。查日誌时要看它消失前最後几次訪問留下了什么。
狀態碼分布異常
如果入口頁日誌里 302 和 404 占比很高，說明蜘蛛花在跳轉和空地址上的次數不少。301、302 本身不是問题，但大量指向失效目标的跳轉，會消耗抓取額度，也會让蜘蛛對整批路径的判断變差。
用日誌回答几個實际判断题
- 蜘蛛到底来没来：先確認 IP 段和 UA 是否匹配，別把采集器的訪問当成蜘蛛。
- 走了哪些路径：把日誌里的路径按目錄聚合，能看出蜘蛛的偏好，是入口頁、列表頁還是詳情頁。
- 哪些路径被反复抓：高频訪問但内容不變的路径，通常是被浪費的抓取。
- 抓取有没有走空：統計 4xx、5xx、空响應和跳轉鏈長度，能看出多少抓取没有落到實际頁面上。
分析日誌时容易踩的坑
- 日誌會轮轉和压缩，歷史資料要提前归档，否則想看趋势时發現只剩最近几天。
- UA 是最容易被伪造的字段，只看 UA 會得出错誤结论。
- 服務器时区與統計口径不一致，會让“某天没来”變成誤判。
- 多台服務器或经過 CDN 时，日誌分散在多個位置，需要先合並再統計。
- 样本太少时不要下结论，几天日誌里的一次波動說明不了什么。
從日誌到具体動作
日誌的價值在于把“感觉”換成“依據”。常见的對應關系是：入口頁被频繁抓取但几乎不出鏈，就检查頁面里的連結是否可爬；大量 404 集中在某几個目錄，就清理或更新那批 URL；响應時間明顯偏高，就先解决服務器和渲染阻塞；蜘蛛只在少數几條路径上打轉，就补一批能被正常發現的連結。
需要提醒的是，日誌只能說明蜘蛛抓了什么，不能說明頁面被收錄或者获得了排名。抓取量上升和收錄增加之間，還有内容质量、站点整体状况等环节，別把前者直接当成後者的保證。
把日誌当成一份長期记錄来看，每周固定時間導出、聚合、對比，比一次性翻查要有效得多。真正有用的结论，往往来自同一批路径在几周内的變化曲线，而不是某一天突然多出来的几條訪問。