入口页上线之后，后台能看到的往往只是一个“蜘蛛来访次数”。但真正能用来做判断的信息，大多躺在服务器的访问日志里。日志是原始记录，没有经过任何工具的二次加工，读得细一点，能省下不少瞎调的时间。
先想清楚要回答什么
面对几百万行日志，漫无目的地翻是没用的。通常先锁定三个问题：哪些入口页真正被爬过、蜘蛛在池子里走到了多深、有没有异常的请求模式。带着问题去筛字段，效率会高很多。
几个值得重点看的字段
- 客户端 IP 与 User-Agent：两个一起看，单看 UA 很容易被伪造的字符串骗过去。
- 请求 URL 与状态码：判断蜘蛛是拿到了内容，还是撞上了 404、403、301。
- 响应时间：入口页如果长期超过两三秒才返回，抓取频率往往会自己降下来。
- Referer：能看出蜘蛛是从哪个页面的链接跳过来的，反推池内链路是否通畅。
清洗比分析更花时间
原始日志里有大量静态资源请求、监控探针和自家测试访问，直接统计会严重失真。建议先做三件事：过滤掉图片、CSS、JS 这类非页面请求；把同一 IP 在短时间内的连续请求归并成一次会话；按入口页 URL 做聚合，而不是按整站看总量。
四个常用的观察角度
- 覆盖率：池子里有多少入口页在统计周期内至少被访问过一次。长期零访问的页面，要么没被任何链接指向，要么被 robots 或 meta 挡住了。
- 有效抓取比：页面请求占总请求的比例。如果大部分请求都花在资源文件上，说明入口页的体积或结构正在消耗抓取额度。
- 抓取深度：从入口页出发，蜘蛛能否走到第二层、第三层。只抓首屏就走的比例偏高，通常指向链接不明显或页面内容单薄。
- 时段与频次：同一 IP 一天来几次、集中在哪个时段。频次突然翻倍或骤降至零，都是需要回查的信号。
从异常信号到具体动作
日志的价值在于把“感觉不对”变成“知道改哪”。几种常见情况：
- 某个入口页持续返回 404：链接该换就换，别让蜘蛛反复扑空。
- 单 IP 高频、路径机械、不加载任何资源：更可能是采集脚本，不必当成真实蜘蛛来优化。
- 状态码大面积 301：检查 canonical 或跳转链路是不是写得太绕。
- 访问量集中在少数几个入口页：说明内链分布不均，其他页面缺少被发现的机会。
日志看的是趋势，不是单次。一天的数据说明不了什么，连续两三周同一指标朝同一个方向走，才值得动手调整。
留存与采样
日志建议至少保留 30 天，方便做同比。全量存储成本高的话可以按天采样，但要保证同一时段的采样比例一致，否则前后对比会失去意义。另外记得关掉日志里不必要的敏感参数，避免把用户信息写进去。
说到底，日志分析不是什么高深的技术，它只是把“蜘蛛来了没有”这个模糊问题，拆成若干可量化、可复查的小问题。每次只改一处，再看下一轮日志有没有变化，这种笨办法反而最稳。