蜘蛛池跑起来之后，后台面板上那些曲线和数字只能算参考，真正没有经过加工的原始记录在服务器访问日志里。想知道蜘蛛到底来没来、来了看什么、看完有没有走到目标站，日志是最直接的一份证据。
日志里值得看的字段
一份标准的 access log 至少包含下面这些信息，缺了哪一项都会让判断变得困难：
- 请求时间与 IP，用来判断抓取的时间分布和来源段；
- User-Agent，用来初步区分蜘蛛类型；
- 请求方法与完整 URL，包括查询参数；
- HTTP 状态码与响应体大小；
- Referer，能看出蜘蛛是从哪个入口页跳过来的；
- 响应耗时，如果服务器配置里开了这个字段。
需要强调的是，UA 是可以随便写的，单看字符串没有意义。至少要做一次 IP 与 UA 的交叉验证：反向解析域名、比对已知蜘蛛 IP 段，两者对不上就按伪蜘蛛处理。
先把流量分成三类
日志里混着的东西很多，笼统统计蜘蛛请求数很容易得出错误结论。可以按下面的方式先分类：
- 真蜘蛛：IP 落在已知段内，请求间隔有规律，会跟着内链往下走；
- 伪蜘蛛：UA 写着蜘蛛名字，但请求速度极快、URL 顺序跳跃、不解析页面；
- 扫描与垃圾请求：找后台路径、配置文件、备份文件之类，和内容发现无关。
真蜘蛛的行为才是你要读的部分，另外两类可以直接过滤掉，否则数据会被严重稀释。
从真蜘蛛日志里能读出的信号
- 抓取频次与时段分布，看是否集中在某个时间窗，服务器压力是否与它重合；
- 入口页覆盖率，哪些页面上线很久却一次都没被抓过；
- 状态码分布，5xx 比例高说明服务器在拖后腿，而不是蜘蛛不来；
- 抓取深度，蜘蛛有没有从入口页走到二跳、三跳；
- 请求之间的间隔，间隔过短说明是程序在跑，不是正常抓取。
几种常见的噪声与误判
日志里蜘蛛数量突然翻倍，未必是好事，很可能只是某个采集器换了 UA 在扫你的站。
- 日志轮转或按天切割，会让当天的数据看起来变少；
- 接了 CDN 或反向代理后，日志里的来源 IP 变成回源 IP，UA 验证会失效；
- 命中缓存的请求不落日志，蜘蛛抓过但你看不到。
遇到这几种情况，先确认采集链路是否完整，再下结论，否则调整方向会完全跑偏。
把日志变成可执行的动作
- 按 UA 聚合，导出每天各蜘蛛的请求数，做成趋势而不是单日快照；
- 筛出被请求最多、状态码却不是 200 的页面，优先修这些；
- 找出零抓取的入口页，检查它在站内有没有入口、能否被正常解析；
- 5xx 超过阈值时先降并发、排查服务器问题，别急着改内容；
- 定期对目标站的日志做一次比对，确认蜘蛛确实从入口页走到了目标 URL。
日志分析的意义不在于把数字做大，而在于确认一件事：蜘蛛有没有按你设计的路径走完。如果没有，问题通常出在入口页的可达性、状态码或者内链上，而不是蜘蛛池没效果。把这些环节一项项对齐之后，日志才会变成真正有用的反馈。