很多站长装了蜘蛛池之后，习惯看后台自带的统计面板，很少去翻服务器原始的访问日志。但面板通常是二次加工的，字段被简化、采样可能被截断，遇到异常时反而看不出原因。原始日志虽然啰嗦，却是判断入口页到底有没有起作用最直接的证据。
先把需要的字段凑齐
常见的 combined 格式大致包含：客户端 IP、时间、请求方法与 URL、状态码、响应字节数、Referer、User-Agent。如果服务器支持，再加一个响应耗时字段会更好用。日志格式本身不重要，重要的是这些字段都在，缺了字节数或者状态码，很多结论就下不了。
四个基础的聚合视角
按入口页聚合
把同一个入口页的所有请求归到一组，看它的访问次数、状态码分布、首次与最近一次访问时间。这样能快速区分每天都有人来，和只来过一次就再没动静。
按小时聚合
蜘蛛的访问通常集中在某些时段。如果分布很平、24 小时都在均匀请求，反倒要留意是不是被别的程序扫了。
按状态码聚合
入口页大量返回 5xx 或 429，说明服务器在拦；大量 404 说明入口页被删了但链接还在。这类问题在按 URL 聚合时看不出，按状态码聚合会立刻暴露。
按来源 IP 段聚合
把访问量最高的几个 C 段列出来，看它们是不是集中在少数几台机器。分布较广的通常是真实节点，而少数固定 IP 高频抓取，多半来自其他来源。
怎么判断一个入口页是否有效
有效不一定等于收录，先看几个可观察的迹象：
- 蜘蛛有相对规律的回访间隔，而不是一次性抓完就消失
- 状态码长期稳定在 200，字节数与页面实际内容量大致匹配
- 被请求的 URL 数量随时间缓慢增加，而不是永远只有首页
- 同一时段目标站日志里能看到对应的抓取痕迹
反过来，如果出现下面这些情况，通常说明入口页需要调整：
- 蜘蛛只抓首页和少数几个链接，其余入口页几乎无人问津
- UA 种类极其杂乱，用反向 DNS 校验后大多对不上
- 请求集中在几秒内爆发，随后长期静默
- 日志里出现大量半截请求、连接被重置的记录
跟目标站的日志对照着看
单看蜘蛛池侧的日志，只能知道有人来了；把两边按时间对齐，才能看出来了之后有没有去目标站。常见的对照办法是按分钟统计两边同一 IP 的请求，看入口页被抓后，多久在目标站出现同 IP 的请求。如果顺序对得上，至少说明链路在走通；如果只有入口页一侧有记录，可能是出站链接没被跟随，也可能是目标站那边直接拦掉了。
几个容易误判的地方
- 把 CDN 或负载均衡的健康检查当成蜘蛛访问，这类请求 UA 固定、间隔精准、URL 单一。
- 把监控探针、安全扫描、镜像抓取混进蜘蛛统计，导致蜘蛛量虚高。
- 看到日志里出现很多 304，就以为蜘蛛在反复回访；304 只说明内容没变，不代表抓取价值提升。
- 只统计总量，不看每个入口页的分布，结果一个页面贡献了八成访问量却没人发现。
一份轻量的周报模板
- 本周蜘蛛请求总量，与上周对比，标注波动原因，比如改版、下线、服务器异常。
- 访问量前 20 的入口页及其状态码分布。
- 活跃 IP 段数量与集中度。
- 目标站侧同期抓取次数，粗略估算入口页到目标站的通过率。
- 本周下线或新增的入口页，以及下线后的日志变化。
日志分析的价值不在数字好看，而在于能把蜘蛛不来拆成具体环节：是入口页挂了、服务器在拦，还是出站链路断了。一次只改一个变量，再回看日志，判断会稳很多。