站点运营里最容易拿到的数据，其实不是后台报表，而是服务器日志。它记录的是蜘蛛真实来过、真实请求过的地址，比任何第三方工具的估算都直接。问题在于，多数人翻日志只看一个总量，看完就关掉，里面真正能推动决策的信息被浪费了。这篇讲怎么把日志读出点有用的东西。
一、日志里值得看的字段
不同服务器软件的日志格式略有差异，但常见的组合字段基本够用：
- 时间与时区：先确认服务器日志用的是本地时间还是 UTC，跨天对比时这一点会被放大。
- 请求方法与 URL：看清请求的是页面、图片还是接口，路径要保留查询参数，否则分页和筛选页会被合并统计。
- 状态码：200、301、404、500 的分布，比总量更能说明问题。
- 响应字节：接近 0 的 200 响应，往往意味着空壳页面或渲染失败。
- User-Agent：用来初步筛选爬虫，但仅凭它并不足以判断身份。
- IP：配合反向解析做真伪校验。
- 来源页：不是所有蜘蛛都会带，但带着的时候能看出它从哪里顺着链接过来的。
二、先确认是不是真蜘蛛
User-Agent 可以随便伪造，所以看到一串熟悉的爬虫标识时，不要立刻当成搜索引擎的抓取。比较稳妥的做法是：
- 对可疑 IP 做反向 DNS 解析，看域名是否属于对应搜索引擎的官方域名后缀。
- 再把解析结果正向查一次，确认能回到同一个 IP，避免被伪造的解析记录骗过。
- 对照官方公布的 IP 段范围做交叉验证。
- 观察抓取路径是否符合爬虫行为：真爬虫通常按链接顺序扩散，伪爬虫常集中在少数几个地址上高频请求。
把伪造 UA 的请求算进抓取量里，会导致对站点抓取状况的整体误判：看起来蜘蛛很活跃，实际搜索引擎来的次数少得多。做月度对比时，最好把手动筛选过的数据单独存档。
三、把日志整理成几个可看的指标
原始日志太细，需要先聚合成指标再看：
- 每日抓取总量趋势，观察是否有台阶式的突变。
- 状态码分布：404 和 5xx 各自的占比是否在上升。
- 去重后的 URL 数量，与总请求数分开看，前者反映覆盖，后者反映频次。
- 首页、栏目页、内容页三类的抓取占比，判断蜘蛛是否集中在浅层。
- 新页面从发布到首次被抓的天数，这是衡量发现渠道是否顺畅的直观指标。
- 单个 URL 的重复抓取次数，找出被反复抓取却没变化的地址。
四、几个常见问题的判断思路
内容更新了，但看不到抓取
先在日志里按 URL 精确搜索，确认是完全没有请求，还是来了但抓的是旧版本。前者偏向发现渠道的问题，后者更可能与缓存或响应头有关。
抓取量突然下降
先看服务器侧有没有集中的 5xx 或响应时间飙升，再看 robots.txt、CDN 规则、防火墙是否在这段时间有过变更。日志按天排列，和变更记录放在一起对齐，多数异常能找到对应时点。
蜘蛛总在低价值页面打转
把抓取频次最高的地址排个序，如果前列被标签页、筛选页、搜索结果页占据，说明内链结构和可抓范围需要收缩，而不是继续加内容。
五、一个轻量的每周流程
- 导出最近七天的日志，按爬虫标识初步过滤，并做真伪校验。
- 聚合出上文的几项指标，与上一周做对比。
- 列出抓取次数最多和最少的两组页面，各抽查几条，看是否符合预期。
- 把异常项对应到具体动作：改内链、改响应头、收窄可抓范围或调整更新节奏。
- 存档本周数据，至少保留几个月的对比基线。
六、容易踩的坑
- 只看 CDN 日志或只看源站日志。边缘节点的缓存命中请求可能不会回源，两边数据对不上时要先搞清楚口径。
- 日志按小时或按大小切分，直接拿文件做统计，跨天数据被切断。
- 用总请求数代表抓取覆盖，忽略了去重。
- 拿一天的采样数据下结论，蜘蛛的抓取本身有波动。
- 把日志当成唯一依据。它只能说明来过的部分，不能说明没来的原因，需要和站点地图、内链结构一起看。
日志不会直接告诉你要改什么，但它能把模糊的猜测变成可以核对的记录。坚持每周花半小时读一遍，比等到收录出问题再回头翻要轻松得多。