为什么先看日志
很多人在做蜘蛛池时，习惯用“今天感觉蜘蛛变多了”来判断效果。这种判断在池子规模小、目标站单一的时候还能凑合，一旦池子数量上来，就完全靠不住。更稳妥的做法是回到最原始的证据：服务器访问日志。
日志能回答的问题很具体——谁在什么时间、以什么身份、请求了哪个地址、返回了什么状态。把这四件事对齐，池子有没有在干活基本就有结论了。
日志里至少要留的字段
不同 Web 服务器默认记录的字段差别很大，建议在配置里显式补齐下面这些：
- 时间戳：精确到秒，带时区，跨地域服务器统一成同一时区更省事。
- 客户端 IP：这是后续做身份核验的基础。
- User-Agent：不要只留一个“浏览器”或“其他”的归类，原始 UA 必须落盘。
- 请求方法与完整 URL：包含查询参数，否则看不出参数类地址的抓取情况。
- 状态码：2xx、3xx、4xx、5xx 分开统计才有意义。
- Referer：判断蜘蛛是从入口页爬进来的，还是直接命中某个内部地址。
- 响应时间与响应字节数：这两个字段能看出服务器是否在拖后腿。
如果日志里只有 URL 和状态码，后面做任何分析都会缺一块拼图。
蜘蛛身份怎么核验
UA 是最容易伪造的字段，单看 UA 就把流量归到蜘蛛名下，很容易把扫描器、采集程序也算进去。相对可靠的顺序是：
- 先按 UA 做一次初筛，把声称是蜘蛛的记录挑出来。
- 再对 IP 做反向解析或比对官方公布的 IP 段，确认来源是否匹配。
- 最后看访问行为，比如单位时间内的请求数量、请求路径是否集中在池子入口页附近。
三步都对得上，才适合当成有效抓取来统计。只做第一步，数据往往会虚高一大截。
留存多久、怎么归档
日志占磁盘，不留又不行，比较实用的分法是：
- 热数据：最近七到三十天的原始日志留在线，方便随时查具体某条记录。
- 冷数据：按月压缩归档，保留聚合后的统计结果，原始文件可以定期清理。
- 统计结果：每日蜘蛛请求数、独立 IP 数、状态码分布这类汇总表，建议长期保留，它们比原始日志更适合看趋势。
日志轮转策略要提前设好，否则某天磁盘写满，池子跟着一起停下来，排查时反而没有记录可看。
分析时盯住哪几个变化
日常不需要逐条读日志，看几个趋势就够：
- 独立蜘蛛 IP 数的变化，比总请求数更能说明覆盖范围。
- 状态码分布，尤其是 404 和 5xx 突然增多的时段。
- 请求路径的集中度，如果大量请求堆在少数地址上，说明池子的链接结构可能太单薄。
- 响应时间的中位数，明显变慢通常意味着服务器或带宽先出了状况。
几个常见的记录盲区
- 站点前面挂了 CDN 或反向代理，源站日志里全是节点 IP，需要额外记录真实客户端 IP 的请求头。
- 日志按访问名而不是完整 UA 落盘，事后无法区分不同蜘蛛。
- 只记录 GET 请求，漏掉 HEAD 之类的探测请求，会低估蜘蛛的活跃程度。
- 多台服务器各自记日志，没有集中汇总，看起来像“没动静”，其实只是分散在几台机器上。
日志的价值在于它可以被反复核对，而感觉不行。先把字段留全，再谈分析，顺序反了就会一直在猜。
最后提醒一句：日志能说明蜘蛛来过，但不能直接推到收录或排名上。抓取、收录、展现是三个不同层面的问题，日志只负责回答第一个。