日志是站点最诚实的记录
后台统计、站长平台、第三方分析工具给出的数据，大多经过了一层加工和抽样。真正原始的记录只有服务器访问日志：谁在什么时间、用什么方式、请求了哪个地址、得到了什么结果，都写得清清楚楚。蜘蛛什么时候来过、抓了哪些页面、吃到了什么状态码，同样藏在这份日志里。站点运营如果长期不看日志，等于把眼睛蒙上，只能等流量掉了再去猜原因。
先分清三类记录
- 访问日志（access log）：每条请求的来源 IP、时间、方法、URL、状态码、User-Agent、返回字节数和耗时。这是分析蜘蛛行为的主要来源。
- 错误日志（error log）：程序异常、超时、权限不足、数据库连接失败等。5xx 的根因通常在这里，而不是访问日志。
- 抓取记录：不是单独的文件，而是从访问日志里按 UA 和已知 IP 段筛出来的那一部分。建议每天筛一次，单独存成小文件，长期观察趋势。
每周固定看几个数字
状态码分布
把一天的日志按状态码聚合，看 200、301、404、5xx 各占多少。重点不是绝对值，而是比例变化：某天 404 突然翻倍，通常是某次改版留下了没处理的旧链接；5xx 出现连续几十次，多半是程序或数据库在某个时段出了问题。
抓取频次与抓取深度
统计蜘蛛每天的请求总数，以及这些请求落在多少个不同 URL 上。请求数没降但 URL 数变少，说明蜘蛛在反复抓同一批页面，新内容没被发现；两者同时下降，则要检查是否有大量超时导致蜘蛛主动降低抓取量。
响应耗时
日志里的响应时间比前端测速更接近真实情况。如果蜘蛛请求的平均耗时从 200 毫秒涨到 2 秒，即使页面还能打开，抓取预算也会被明显压缩。这类问题往往出在某个接口、某张大图或某段未缓存的查询上。
几个常见异常信号
- 蜘蛛频繁抓取带参数的地址，说明站内链接或分页把参数暴露得太多。
- 抓取集中在旧栏目，新栏目几乎没被访问，通常是入口太深或内链太少。
- 大量抓取落在 302 跳转链上，跳转层数过多会让蜘蛛提前放弃。
- 非搜索引擎的陌生 UA 高频抓取，且只抓列表页和搜索页，可能是采集行为，需要评估是否限速。
- 同一个 URL 一天被请求上千次，通常是缓存没生效或页面被站内循环引用。
把日志变成可执行的清单
- 按天切分日志并保留至少 30 天，避免一个文件越滚越大。
- 筛出蜘蛛记录，统计状态码、URL 数量、平均耗时三个指标。
- 把返回 404 和 5xx 的 URL 去重，导出成清单。
- 逐条判断：该修跳转的修跳转，该补内容的补内容，该下线模板的调整模板。
- 修复后一周再对比同一指标，确认异常项真的消失。
- 把每次结论记在运营笔记里，形成本站自己的基线数据。
日志分析的价值不在看懂技术细节，而在于发现“和上周不一样”的地方。稳定的站点，各项指标会长期在一条平缓的线附近波动。
容易踩的坑
- 只看总量不看结构，掩盖了 404 增长、抓取集中等问题。
- 日志保存太久又不做归档，磁盘被写满，反而拖垮站点。
- 把日志里的 IP 直接当作访客身份，忽略代理和 CDN 带来的干扰。
- 发现异常就立刻大改结构，没有留下对照数据，无法判断是否有效。
日志不需要每天都精读，但要有一个固定的查看节奏。每周花二十分钟看一眼状态码和抓取分布，很多问题会在影响流量之前就被发现，而不是等到访客或蜘蛛用脚投票时才追悔。