很多站長装了蜘蛛池之後，习惯看後台自带的統計面板，很少去翻服務器原始的訪問日誌。但面板通常是二次加工的，字段被简化、采样可能被截断，遇到異常时反而看不出原因。原始日誌虽然啰嗦，却是判断入口頁到底有没有起作用最直接的證據。
先把需要的字段凑齐
常见的 combined 格式大致包含：客戶端 IP、時間、請求方法與 URL、狀態碼、响應字节數、Referer、User-Agent。如果服務器支持，再加一個响應耗时字段會更好用。日誌格式本身不重要，重要的是這些字段都在，缺了字节數或者狀態碼，很多结论就下不了。
四個基础的聚合视角
按入口頁聚合
把同一個入口頁的所有請求归到一组，看它的訪問次數、狀態碼分布、首次與最近一次訪問時間。這样能快速区分每天都有人来，和只来過一次就再没動静。
按小时聚合
蜘蛛的訪問通常集中在某些时段。如果分布很平、24 小时都在均匀請求，反倒要留意是不是被別的程序掃了。
按狀態碼聚合
入口頁大量返回 5xx 或 429，說明服務器在拦；大量 404 說明入口頁被删了但連結還在。這類問题在按 URL 聚合时看不出，按狀態碼聚合會立刻暴露。
按来源 IP 段聚合
把訪問量最高的几個 C 段列出来，看它們是不是集中在少數几台机器。分布較广的通常是真實节点，而少數固定 IP 高频抓取，多半来自其他来源。
怎么判断一個入口頁是否有效
有效不一定等于收錄，先看几個可观察的迹象：
- 蜘蛛有相對規律的回訪間隔，而不是一次性抓完就消失
- 狀態碼長期稳定在 200，字节數與頁面實际内容量大致匹配
- 被請求的 URL 數量随時間缓慢增加，而不是永遠只有首頁
- 同一时段目标站日誌里能看到對應的抓取痕迹
反過来，如果出現下面這些情况，通常說明入口頁需要調整：
- 蜘蛛只抓首頁和少數几個連結，其余入口頁几乎無人問津
- UA 種類极其杂乱，用反向 DNS 校驗後大多對不上
- 請求集中在几秒内爆發，随後長期静默
- 日誌里出現大量半截請求、连接被重置的记錄
跟目标站的日誌對照着看
單看蜘蛛池侧的日誌，只能知道有人来了；把两邊按時間對齐，才能看出来了之後有没有去目标站。常见的對照办法是按分钟統計两邊同一 IP 的請求，看入口頁被抓後，多久在目标站出現同 IP 的請求。如果顺序對得上，至少說明鏈路在走通；如果只有入口頁一侧有记錄，可能是出站連結没被跟随，也可能是目标站那邊直接拦掉了。
几個容易誤判的地方
- 把 CDN 或负载均衡的健康检查当成蜘蛛訪問，這類請求 UA 固定、間隔精准、URL 單一。
- 把监控探针、安全掃描、镜像抓取混進蜘蛛統計，導致蜘蛛量虚高。
- 看到日誌里出現很多 304，就以為蜘蛛在反复回訪；304 只說明内容没變，不代表抓取價值提升。
- 只統計總量，不看每個入口頁的分布，结果一個頁面贡献了八成訪問量却没人發現。
一份轻量的周报模板
- 本周蜘蛛請求總量，與上周對比，标注波動原因，比如改版、下线、服務器異常。
- 訪問量前 20 的入口頁及其狀態碼分布。
- 活跃 IP 段數量與集中度。
- 目标站侧同期抓取次數，粗略估算入口頁到目标站的通過率。
- 本周下线或新增的入口頁，以及下线後的日誌變化。
日誌分析的價值不在數字好看，而在于能把蜘蛛不来拆成具体环节：是入口頁挂了、服務器在拦，還是出站鏈路断了。一次只改一個變量，再回看日誌，判断會稳很多。