很多站点运营的日常是这样的：内容按时发、栏目按时更新，但蜘蛛到底来没来、来了抓了什么、抓得顺不顺畅，全靠猜。抓取日志是少数能给出直接证据的材料，它不需要额外埋点，只要服务器在跑，访问记录就在那里。把它读明白，很多争论就不用争了。
日志里真正有用的字段
原始日志一行很长，不必全看。先确认这几列能被稳定解析出来：
- 时间：判断抓取是否集中在某个时段，是否与发布节奏、备份任务撞车。
- 请求 IP 与反解域名：区分真蜘蛛与伪装 UA 的采集器，真蜘蛛通常能反解到官方域名。
- User-Agent：区分搜索、图片、移动端等不同抓取代理。
- 请求路径与查询串：看清蜘蛛在哪些目录里打转。
- 状态码：200、301、404、403、5xx 的占比，是最直接的健康指标。
- 响应时间与字节数：慢页面和空页面往往在这里露出来。
四个值得每周看一次的指标
1. 抓取量与目录分布
把 URL 按一级目录聚合，看蜘蛛的时间花在哪里。如果标签页、筛选页、日历页吃掉了大半请求，而核心栏目只占很小一部分，说明站内链接权重和结构需要调整。
2. 状态码结构
404 长期居高不下，多半是历史 URL 没有做重定向；5xx 出现尖峰，通常对应服务器压力或某个接口不稳定；大量 301 串联则会让抓取效率打折。
3. 平均响应时间
日志里的响应时间比外部测速工具更接近蜘蛛的真实体验。如果某个目录的平均值明显偏高，先查数据库查询和模板渲染，而不是先怀疑蜘蛛。
4. 新 URL 的首次抓取时间
记录新发布内容第一次被抓的时间，能反映内链、站点地图、栏目更新的综合效果。这个数字变大，往往说明发现路径出了问题，而不是内容质量突然变差。
把日志变成一张行动清单
- 导出最近 7 天的日志，过滤出可信蜘蛛的记录。
- 按状态码、目录、UA 分别做一次汇总。
- 列出三个最占抓取量、但价值最低的 URL 类型。
- 为每个问题指定一个具体动作：加内链、改重定向、压缩页面体积、调整 robots 规则等。
- 下周同一时间复查同一组指标，用数据确认动作是否奏效。
日志分析的价值不在于报表好看，而在于让每一次站内调整都有可验证的反馈。
几个容易踩的坑
- 不看 IP 只看 UA：UA 可以随便写，判断真伪要结合反解和访问行为。
- 只统计总量：总量本身没有意义，分布才有意义。
- 日志保留时间太短：只留三天日志，等于每周都从零开始。
- 把日志当成绩单：抓取多不等于收录多，更不等于排名好，它只说明访问行为。
- 忽略日志体积：大站日志增长很快，建议按天切分并定期归档，避免影响服务器本身。
多久做一次
中小站点每周一次、大站每两三天一次即可。真正的重点是固定动作：同样的过滤条件、同样的指标口径、同样的复查周期。坚持几个月后，你会比任何外部工具都更清楚自己站点的抓取状态。