蜘蛛池跑起来之后，很多操作者能看到的只有「有没有抓取」这一个模糊印象。要判断池子是否健康、哪个环节出了问题，靠的是抓取日志。日志留得好，排查问题时能直接定位到入口页、状态码和时间段；留得不好，只能凭感觉反复更换入口页。
一、日志里真正有用的字段
不是字段越多越好，而是每次出问题都能靠这几个字段回答「谁在什么时候请求了什么，结果如何」。
- 时间戳（带时区）：跨机房、跨区域部署时，不带时区的日志基本没法对齐。
- 来源 IP 与 User-Agent：区分真实蜘蛛、普通访客与扫描器的基础。
- 请求方法与完整 URL：包括路径和参数，方便判断蜘蛛走到了哪一层。
- 状态码与响应体大小：5xx 和零字节响应往往比 404 更值得警惕。
- 响应耗时：TTFB 突然拉长，通常先于抓取量下降出现。
- 入口页标识：池子里有多个入口页时，一定要能反查请求是从哪个入口页发起的。
需要提醒的是，日志中如果包含查询参数、Cookie 或用户标识，落盘前应做脱敏处理，避免把无关信息长期留存。
二、保存多久：分两层更实际
全量长期保存成本高，也没必要。比较常见的做法是分热冷两层：
- 热数据：保留 7 到 30 天的原始日志，用于逐条排查异常请求。
- 冷数据：按天或按周聚合成统计量，比如每日抓取次数、状态码占比、独立 IP 数，长期保留。
聚合之后，即使原始日志被清理，趋势仍然可看。
三、看趋势，而不是看某一天
单日的抓取量波动很正常，会受节假日和搜索引擎自身调度节奏影响。真正有意义的是几周尺度的趋势：
- 抓取总量是缓慢上升、持平，还是持续下滑；
- 状态码分布有没有变化，5xx 比例是否抬头；
- UA 与 IP 段是否长期集中在少数几个来源；
- 蜘蛛是否只停在入口页，很少继续向目标页走。
日志的价值在于对比。孤立的一天数据几乎说明不了任何问题。
四、几个容易踩的坑
- 把总请求数当成蜘蛛抓取量，没有先做来源过滤；
- 站点前面挂了 CDN 或 WAF，源站日志里看到的其实是中间层 IP，判断失真；
- 多套入口页共用一份日志，出问题时无法定位到具体是哪一套；
- 只记录成功请求，忽略 4xx 与 5xx，导致问题被掩盖。
五、一份最小可用的记录方案
- 在入口页所在服务上开启访问日志，关掉不必要的冗长字段；
- 落盘后按小时切分，便于快速定位到具体时间段；
- 每天跑一次聚合脚本，输出抓取量、状态码分布、UA 分布三张表；
- 每周对一次趋势，发现异常时再回到原始日志中抽样核对；
- 根据结论调整入口页或链接结构，并把调整时间点记下来，方便下次对照。
日志不会直接带来抓取，但它决定了你遇到问题时是盲调，还是有依据地调整。把记录这件事做扎实，后面每一步操作都会轻松一些。