入口頁铺了几百上千個之後，很多人會陷入一種凭感觉的狀態：觉得蜘蛛一直在来，但说不清具体来了哪些頁面。蜘蛛池使用的域名通常不在站長平台的覆盖范围内，後台也没有爬虫报表，能直接回答這個問题的，基本只有服務器日誌。
第一步：把真蜘蛛和噪音分開
打開 access log 先別急着看總量。日誌里绝大多數记錄来自掃描器、监控探活、CDN 回源和普通訪客，搜尋引擎蜘蛛往往只占很小一部分。判断可以分两层做：
- 先用 User-Agent 粗筛，把明顯無關的請求排掉；
- 再用 IP 反查 rDNS，或與搜尋引擎公布的 IP 段比對，做二次確認。
只按 UA 判断容易被伪造 UA 的采集程序誤導；反過来漏掉真蜘蛛也不少见，因為部分蜘蛛的 UA 寫法比較特殊，正則寫得太窄會整批漏掉。
日誌里值得盯的几列
- 時間：蜘蛛抓取往往有集中时段，记錄首次出現時間，能看出新入口頁大概多久被發現。
- 請求 URL：確認抓到的到底是入口頁本身，還是某個已经失效的附件、图片或带參數地址。
- 狀態碼：200 属正常；3xx 要看跳轉目标是否可抓；404、410 偏多說明入口頁结构有問题；5xx 說明服務端不稳。
- 返回字节數：如果明顯小于頁面的實际大小，可能是讀取被截断，或响應中途断開。
- 响應時間：慢到自己都不满意的頁面，蜘蛛也未必愿意長時間等待。
四個常见的誤判
- 把 CDN 回源日誌当成蜘蛛日誌：回源請求的發起方可能是 CDN 节点，来源 IP 和搜尋引擎無關。
- 把探活請求当成抓取：监控系統定时請求首頁，频率規律得像钟表，很容易被誤讀成“蜘蛛很活跃”。
- 忽略 304 和 HEAD 請求：部分抓取會先發 HEAD 或带條件的 GET，只看 200 會低估實际抓取量。
- 把一個搜尋引擎当成全部：不同搜尋引擎的抓取节奏差別很大，混在一起統計很难看出規律，分開看才有效。
用日誌反推入口頁的問题
比“有没有来”更有價值的是“来了之後發生了什么”。按入口頁维度做聚合，至少可以看四件事：被訪問次數、首次被訪問時間、最近一次被訪問時間、狀態碼分布。如果某些入口頁長期零抓取，通常從這几處找原因：没有任何外鏈或站点地图指向它；從入口到它的层級太深；模板重复度過高，被判断為低價值；robots 或跳轉把路径挡住了；服務器對该爬虫返回了 5xx。
日誌不會告诉你頁面會不會被收錄，它只能說明蜘蛛有没有来、来了几次、拿到的是什么响應。這两件事之間還有很長一段距离，別混為一谈。
几個實操习惯
- 日誌按天切分並保留一段時間，方便做前後對比，而不是只看当天快照。
- 把蜘蛛 IP 段维護成一份可更新的名單，定期核對，不要長期使用舊列表。
- 用脚本或資料库做聚合，不要靠肉眼在几十萬行里找規律。
- 調整入口頁模板、内鏈或站点地图之後，隔几天再回看同一批入口頁的抓取變化。
- 扩量之前先用少量入口頁跑一轮，確認日誌里能看到预期行為，再考虑加量。
把日誌当成反馈回路，蜘蛛池才算從“堆頁面”變成一個可以調试的系統。