很多站点运营者会看蜘蛛日志，却很少检查日志本身是否“活得够久”。等到某天抓取量骤降、某个栏目突然不被访问，想回看一周前的记录时，才发现日志已经被轮转覆盖，或者压缩包缺了几天。没有连续日志，排查抓取异常、URL 发现和服务器波动都会变得很被动。
日志轮转与保留不是运维的边角料，它直接决定你能否还原“蜘蛛在什么时候、以什么方式访问了哪些地址”。下面按自查顺序梳理常见问题。
一、先确认日志有没有在正常写入
排查前先看最基础的一点：Web 服务器或反向代理是否还在记录访问日志。常见情况是：
- Nginx/Apache 的 access log 被关闭，或者只记录了错误日志；
- 站点套了 CDN 后，源站日志只看到 CDN 回源 IP，真实蜘蛛 IP 在 CDN 日志里；
- 容器化部署后，日志写到了容器内部，容器重启就丢失；
- 多台服务器各自记日志，但没有集中收集，查问题时只看了其中一台。
如果日志源头就不完整，后面的轮转和保留做得再好也没有意义。建议先确认：至少有一份包含 时间、客户端 IP、请求方法、URL、状态码、User-Agent、响应大小 的记录，并且能覆盖全站入口。
二、轮转周期：别让单文件无限增长，也别切得太碎
日志轮转通常按天或按大小触发。按天轮转比较适合站点运营排查，因为蜘蛛抓取、收录变化、服务器异常往往以天为单位观察。如果按大小切，流量一波动就可能一天切出很多文件，分析时反而麻烦。
需要自查的点：
- 轮转是否在每天固定时间执行，避免跨天文件混在一起；
- 轮转后是否通知服务重新打开日志文件，否则可能继续写旧句柄；
- 是否保留了轮转前后的对应关系，例如 access.log 与 access.log.1 的时间边界；
- 错误日志和访问日志是否分开轮转，避免一个把另一个挤掉。
排查抓取异常时，最怕的不是日志多，而是日志时间段对不上。轮转时间不固定，分析工具会把两天的数据算成一天。
三、保留天数：至少覆盖一个完整的观察周期
保留多久没有统一答案，但可以按站点更新频率和排查需求来定。如果栏目每周更新，保留 7 天只能看到最近一轮；如果遇到抓取骤降、改版、迁移，往往需要对比改版前后至少 14 到 30 天的数据。
- 日访问量不大的站点：保留 30 到 90 天压缩日志，成本通常可接受；
- 访问量较大的站点：可以保留 7 到 14 天原始日志，再保留更长时间的聚合统计；
- 涉及服务器迁移、URL 调整、robots 修改的节点：建议单独归档，不要只依赖自动轮转；
- 合规要求较高的业务：按实际要求延长，并注意脱敏。
关键是：当你想回看“上周三蜘蛛到底抓了什么”时，日志还在。
四、压缩与归档：别把日志存成打不开的碎片
很多服务器会启用压缩轮转，这本身没问题，但常见坑是：
- 压缩文件命名没有日期，过一段时间分不清哪份是哪天；
- 只保留最近几个压缩包，旧的被自动删除；
- 归档到对象存储或备份盘时中断，文件不完整；
- 权限设置过严，运营人员无法读取，排查时还要找运维；
- 磁盘写满后日志停止写入，却没有告警。
建议给日志文件一个清晰命名，例如包含站点标识、日志类型和日期；归档后抽检能否正常解压和搜索。如果使用日志分析工具，还要确认采集端能识别轮转后的新文件，不会重复采集或漏采。
五、字段与格式：至少能区分蜘蛛和普通用户
日志字段决定了你能回答哪些问题。如果 User-Agent 被截断、真实 IP 被代理覆盖、状态码缺失，后续分析会很吃力。自查时关注：
- 是否记录了完整 User-Agent，能识别常见蜘蛛标识；
- 如果套了 CDN 或负载均衡，是否通过 X-Forwarded-For 等字段保留了真实客户端 IP，并做了可信代理配置；
- 是否记录请求时间（含时区），避免和服务器时区不一致；
- 是否记录响应时间，便于判断抓取时服务器是否过慢；
- 静态资源和动态页面的日志是否可区分，方便排除图片、CSS 等干扰。
这一步和 URL 发现、抓取预算分析直接相关。日志字段不全，你可能会把 CDN 回源请求误判成蜘蛛抓取，也可能漏掉真正重要的页面访问。
六、权限、安全与告警
日志里可能包含 URL 参数、搜索词、内部路径等信息，开放读取前要评估范围。运营需要看抓取数据时，可以给只读账号或导出分析结果，而不是直接共享服务器 root 权限。同时建议设置：
- 磁盘使用率告警，避免日志写满导致服务异常；
- 日志轮转失败告警；
- 关键时间段日志缺失告警；
- 归档任务失败告警。
这些告警不需要很复杂，但能避免“问题发生时才发现没有日志”。
七、把日志检查纳入日常运营
可以每月做一次简单自查：随机抽取三天的日志，确认能查到蜘蛛访问、状态码分布和重点 URL 抓取情况；检查压缩包是否完整；核对保留天数是否符合当前需求。若近期有改版、迁移、robots 调整，提前把相关日志单独归档。
日志轮转和保留不是直接提升排名的操作，但它决定了你在遇到抓取异常、URL 发现变慢、服务器波动时，有没有足够证据做判断。把这份基础工作做稳，后面的站点运营和搜索优化才有可复盘的数据支撑。