站
站点运营:日志轮转与磁盘水位维护,别让抓取高峰把服务器写满
蜘蛛集中抓取时,访问日志和错误日志会快速膨胀,磁盘写满后数据库、缓存和临时文件都可能无法写入,蜘蛛只能拿到 5xx。本文从磁盘与 inode 水位、日志轮转、归档分层、抓取高峰限流到监控告警,给出一套可执行的维护清单。
阅读全文 →共找到 1 篇与“日志轮转”相关的文章。
蜘蛛集中抓取时,访问日志和错误日志会快速膨胀,磁盘写满后数据库、缓存和临时文件都可能无法写入,蜘蛛只能拿到 5xx。本文从磁盘与 inode 水位、日志轮转、归档分层、抓取高峰限流到监控告警,给出一套可执行的维护清单。
阅读全文 →