蜘蛛池跑起来之后，大多数人能看到的只有两个数字：入口页放出去多少、蜘蛛来过多少次。但真正能指导下一步动作的信息，几乎都藏在访问日志里。日志不会告诉你排名，也不会告诉你收录，它只回答一个问题：蜘蛛到底在你的页面上做了什么。
日志里先看哪几个字段
不管用 Nginx、Apache 还是对象存储的访问日志，核心字段都差不多，先把这几项筛出来：
- 时间：注意服务器时区，日志时间和你看数据的时间对不上，是很多误判的起点。
- 来源 IP：用来反查归属，判断是不是真实搜索引擎的出口。
- User-Agent：只作参考，UA 本身可以伪造。
- 请求 URL：区分是入口页、内页还是静态资源。
- 状态码：200、301、404、403、429、5xx 的比例，比总量更有意义。
- 响应耗时：慢请求是否集中在某类页面上。
如果日志里连这些都不全，先补日志格式，再谈分析。
哪些记录值得留下
日志量通常很大，全留成本高，全丢又没法复盘。可以按下面的优先级保留：
- 入口页的首次抓取记录，这是判断一个新入口有没有被发现的最直接证据。
- 同一 URL 的重复抓取间隔。间隔稳定说明抓取节奏正常，忽长忽短往往意味着站点存在不稳定因素。
- 非 200 的记录，尤其是 5xx 和 429，它们会直接影响后续抓取意愿。
- 抓取路径，也就是同一次会话里连着请求了哪些 URL，可以看出蜘蛛是否顺着内链继续往下走。
哪些是噪音，别当成效果
- 健康检查与监控探针：来自负载均衡或 CDN 回源，UA 经常写成常见的抓取工具名。
- 静态资源重复请求：CSS、JS、favicon、图片，数量大但不代表页面正文被读取。
- 扫描器与采集工具：短时间内大量请求不同路径，状态码以 404 为主。
- robots.txt 的高频请求：偶尔来一次正常，几十秒一次一般属于异常。
把总请求数当成抓取量，是日志分析里最常见的一步走偏。真正要盯的是独立 URL 数，而不是请求条数。
几个容易踩的误区
第一，只看总量不看分布。一天来了一千次请求，但如果九成打在同一个入口页上，另外几十个入口其实根本没被碰过。第二，把 CDN 缓存命中记成蜘蛛抓取，实际源站压根没收到请求。第三，日志没做时间校准，跨时区统计出来的“高峰时段”是假的。第四，样本太少就急着改策略，三天的数据和三周的数据可能得出完全相反的结论。
还有一点常被忽略：IP 属于可识别信息，日志留存要有明确期限，导出分析时最好做脱敏，只保留网段和必要字段。
从日志到动作
日志本身不产生价值，能落成动作才有用。可以按这个顺序复盘：
- 连续多个周期都没有抓取记录的入口页，考虑更换或下线。
- 被抓取但从不深入内页的入口页，检查内链和出口是否被挡住。
- 5xx、429 集中的页面，优先排查服务器与限流配置。
- 抓取频繁但状态码长期异常的资源，及时清理，别继续消耗抓取预算。
最后提醒一句：日志是观察工具，不是效果证明。它能帮你判断入口有没有被看到、有没有被顺利读取，但推导不出收录或排名结果。把指标定清楚、把观察周期拉长、把结论落成具体改动，日志才不算白记。