服务器日志大多被当成流量计数器：看 PV、看 UV、看哪个时段人多。但对站点运营来说，日志还有一层更实用的价值——它记录了搜索蜘蛛到底访问了什么、以什么频率访问、在哪里碰壁。如果只把日志用来数字节，等于把一份抓取体检报告搁在角落里积灰。

先确认日志里到底记了什么

不同环境记的字段不一样。先打开最近一天的日志，看有没有这些列：访问时间、客户端 IP、User-Agent、请求方法、请求 URL（含查询参数）、HTTP 状态码、响应字节数。少了状态码或 URL 参数，后面的判断都会打折扣。如果服务器没法补全，至少把状态码和完整 URL 保下来。

把真蜘蛛和伪装请求分开

日志里自称蜘蛛的请求很多，未必都是真的。常见做法是组合判断：

• 看 User-Agent 是否完整、是否为已知的官方 UA 字符串；
• 对可疑 IP 做反查，看是否属于对应搜索引擎的官方段；
• 看请求频率和路径特征，伪装爬虫往往集中抓取少数页面，或者完全忽略 robots.txt 的限制。

把这两类分开之后，再去看抓取数据，结论才不会被刷量的假请求带偏。

看抓取路径分布，而不是只看总量

总量高不代表抓得对。按 URL 目录维度做一次分组统计，通常能看到很直观的差异：有的栏目被抓了几千次，有的栏目几乎为零。出现这种情况时，先检查那些低抓取栏目是否入口太少、是否被 noindex、是否在列表页第二页之后没有稳定链接。抓取分布其实是在替你回答一个问题：站内链接把权重推向了哪里。

抓取频次和波峰是否和更新节奏对得上

如果你每周固定更新某几个栏目，日志里这几个目录的抓取频次应该有对应变化。如果更新了却看不到抓取反应，方向可能出在：新内容没有出现在任何列表页、内链埋得太深、或者页面本身加载过慢导致抓取被中断。

日志里的几类异常信号

• 某个 URL 持续返回 5xx，蜘蛛反复重试，说明服务端不稳定；
• 大量 403，可能是防火墙或安全策略误伤；
• 跳转链过长，同一条路径出现多次 301；
• 带参数的 URL 数量爆炸，说明分页、筛选、排序参数没有被规范处理；
• 蜘蛛频繁访问已下线的旧地址，说明外部链接或站内链接还指向旧结构。

这些问题不一定立刻影响什么，但会持续消耗抓取资源，拖慢新页面被发现的速度。

把日志和 sitemap、内链对上

日志能回答一个很实际的问题：你提交的地址，蜘蛛到底来没来。把 sitemap 里的 URL 和日志中出现过的 URL 做一次比对，能分成三类——已抓取、未抓取、抓取但状态异常。未抓取的那部分，需要回头检查是否被 robots.txt 挡了、是否只在 sitemap 里出现而没有站内链接。sitemap 是建议，内链才是主要入口，两者不一致时，蜘蛛通常信内链。

日志留存和轮转

建议至少保留 30 天以上的原始日志，并按天归档。做月度对比时，至少能看出抓取量、抓取目录、异常状态码的变化趋势。如果磁盘紧张，可以按周压缩，但不要只留汇总统计，原始行在排查具体 URL 时才有用。

日志不是事后追责用的，它是少数几种能直接反映蜘蛛行为的原始材料。定期翻一翻，比猜测抓取情况可靠得多。