统计工具给出的是加工后的图表，服务器日志给的是一行行原始记录。两者结合看，才能判断某个页面是真的没人访问，还是根本没被蜘蛛请求过。日常运营中，建议每周固定花十几分钟翻一遍日志，重点不是看完，而是找出「和平时不一样」的部分。
日志里值得重点看的几类信息
- 状态码分布：200 之外的比例有多少，404、301、403、5xx 各自集中在哪些路径。
- 爬虫 UA 与来源 IP：哪些是主流搜索引擎的蜘蛛，哪些是伪装成蜘蛛的采集或扫描。
- 请求路径集中度：如果某个目录占了全部请求的三成以上，要么它确实重要，要么存在参数组合导致的循环抓取。
- 响应时间：单个请求耗时明显偏高的接口或页面，往往是拖慢整站的那几个点。
- 时间分布：抓取和访问是否集中在深夜或某个整点，这通常和定时任务、缓存刷新有关。
几种常见异常与处理思路
404 数量突然上升
先看这些 404 的来源。如果 Referer 指向站内页面，说明是内链写错，或页面被删除后没有处理；如果来自站外，多半是别人引用了已经失效的地址，可以考虑用 301 指向新的对应页面，而不是放任不管。
5xx 集中在某个时间段
把出现时间、涉及脚本、机器负载放在一起看，常见原因是备份、批量生成、数据导出这类重任务和访问高峰撞在了一起。调整执行时间通常比升级配置更划算。
单一 IP 或 UA 高频请求
不一定是恶意行为，也可能是某个监控探针、CDN 回源，或者自己写的脚本忘了加缓存。先确认来源，再决定是限流、封禁还是修正配置。
蜘蛛只抓首页和列表页
说明内链把蜘蛛引导到详情页的路径太少，或者详情页本身缺少可抓取的入口。可以检查列表页每一条的链接是否是可点击的 a 标签，而不是靠 JS 事件跳转。
一份可以照着做的自查清单
- 确认日志有保留，且至少能查到最近 30 天，日志被覆盖或不落盘会让排查无从下手。
- 检查日志时间与服务器时区是否一致，否则跨天分析容易错位。
- 统计每天的请求总量、独立 IP 数、状态码比例，做成一条简单曲线，异常自然就凸显出来。
- 单独筛出主流蜘蛛的请求，看抓取量和抓取页面分布是否稳定。
- 对高频 404 和高频 5xx 各挑出前 10 条，逐个确认原因并记录处理结果。
- 把发现的问题和改动记在同一个文档里，方便下次对比。
日志的价值不在「看完」，而在「对照」。同一份日志单独看没有意义，和上周、上个月的放在一起，变化才是信息。
两个容易踩的坑
一是把日志当成安全审计的全部，看到陌生 IP 就封，结果误伤了正常的监控或合作方回源；二是只盯着数量不看内容，请求量涨了却不知道涨在哪些页面，最后既没优化到重点，也没防住真正的异常。
日志只是线索，不是结论。发现异常后，最好再用页面的实际表现、访客反馈、抓取工具的数据交叉验证一次，再动手改配置。这样能避免在排查过程中引入新的问题。