為什么入口頁的第一手證據在日誌里
蜘蛛池的入口頁铺出去之後，运营者能看到的多是間接信号：目标頁有没有新訪問、收錄有没有變化、統計里有没有陌生的来路。這些信号都要经過好几层加工，出了問题很难定位。真正能回答「爬虫到底来没来、来了几次、爬了哪些入口」的，通常是服務器上那份最原始的訪問记錄。
日誌不能解决排名問题，也不能證明入口頁一定有用。它的價值在于排错：当一批入口頁跑了一段時間没有任何反馈时，你可以先確認是「爬虫根本没来」還是「来了但没繼續往下走」，這两種情况的處理方向完全不同。
先分清三類訪問
- 真實搜尋引擎蜘蛛：UA 稳定、来源 IP 段相對固定、抓取行為有規律，一般會成批出現，間隔不會太短。
- 伪装的爬虫：把自己的 UA 改成搜尋引擎名字，但 IP 段對不上、請求频率異常、专挑敏感路径，或者只在同一台主机上反复刷。
- 普通訪客與掃描器：真實用戶的請求會带 referer、會請求頁面依赖的静態资源；掃描器則大量請求不存在的路径，狀態碼多為 404。
判断真伪不要只看 UA。把 UA 和 IP 段放在一起看，再對照它的請求路径是否符合正常阅讀逻辑，基本就能筛掉大部分冒充者。
日誌里值得盯的字段
- 訪問時間（精确到秒，便于看間隔）；
- 来源 IP，必要时做反向解析核對；
- User-Agent 原文，不要截断；
- 請求的完整 URL，包括參數；
- HTTP 狀態碼；
- 返回字节數；
- Referer，用来判断是從站内還是站外過来的。
如果服務前面對了 CDN 或反向代理，记得確認日誌里取到的是真實客戶端 IP，而不是回源地址。這一点不確認，後面的分析全是错的。
四個能反映入口頁狀態的指标
- 首次出現時間：從入口頁上线到第一次被抓，用了多久。時間過長，先检查入口頁本身是否可達、是否被 robots 或 meta 挡住。
- 复訪間隔：同一批入口頁被再次訪問的周期。周期稳定說明抓取节奏正常，突然中断往往意味着入口頁出了状况。
- 覆盖入口數：一批入口里有多少個被訪問過。長期只有少數几個被反复抓，其余毫無動静，說明這批頁面的入口质量差异很大。
- 狀態碼分布：如果抓取請求大量落在 404、403、5xx 上，入口頁再好看也没用，先修错誤頁。
几種常见的誤讀
- 把静態资源的請求也算成「頁面被抓」。图片、样式、脚本的抓取记錄不代表入口頁正文被讀過。
- 只看總請求數，不看去重後的 URL 數。同一頁被刷一百次，和一百個頁面各被訪問一次，含义完全不同。
- 把掃描器当蜘蛛。某些掃描器的 UA 寫得很像搜尋引擎，但請求路径和频率會露馅。
- 日誌没變化就断言「蜘蛛池無效」。也可能是入口頁没被提交、sitemap 没更新、或者站点整体抓取受限。
日誌能證明「来過」，不能證明「有價值」。它是一把尺子，不是一張成绩單。把這两個概念混在一起，很容易做出错誤判断。
把日誌用起来的三件小事
- 定期归档：原始日誌保留一段時間，按天切分，方便回头比對某次改版或下线前後的變化。
- 做增量對比：不要只看某一天。用同一天的不同周做對比，能過滤掉流量波動带来的干扰。
- 驱動取舍：哪些入口頁一直没有任何抓取记錄、也不带来任何後續訪問，就可以考虑退场，把资源留给表現更稳定的那批。
一点使用建议
日誌分析属于慢功夫，不需要每天盯着看，但需要养成定期翻一翻的习惯。真正值得投入的是把「入口可達性」和「错誤率」這两块先做干净，剩下的观察才有意义。至于蜘蛛池本身能带来什么，仍取决于内容质量與站点整体状况，日誌只能帮你更早發現問题，而不是替你解决問题。