MiniMax 基于 Apache Doris 升级日志系统，PB 数据秒级查询响应技术实践

AIGC动态欢迎阅读

原标题：MiniMax 基于 Apache Doris 升级日志系统，PB 数据秒级查询响应技术实践
关键字：日志,数据,系统,架构,模型
文章来源：AI前线
内容字数：0字

内容摘要：

作者｜MiniMax 基础架构研发工程师 Koyomi、香克斯、Tinker 导读：早期 MiniMax 基于 Grafana Loki 构建了日志系统，在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案，并基于 Apache Doris 升级了日志系统，新系统已接入 MiniMax 内部所有业务线日志数据，数据规模为 PB 级，整体可用性达到 99.9% 以上，10 亿级日志数据的检索速度可实现秒级响应。
MiniMax 是领先的通用人工智能科技公司，自主研发了不同模态的通用大模型，其中包括拥有万亿参数的 MoE 文本大模型、语音大模型以及图像大模型。MiniMax 以“与用户共创智能”为愿景，通过对大模型持续迭代，MiniMax 在国内率先完成核心 MoE 算法技术路线的突破。2024 年 4 月，公司推出国内首个上线商用的 MoE 架构、包含万亿参数的大语言模型——“MiniMax-abab 6.5”，模型性能接近国际领先水平。
随着模型复杂度以及模型调用量的不断提升，模型训练及推理产生的运行日志也在激增，这些数据对于 AI

原文链接：MiniMax 基于 Apache Doris 升级日志系统，PB 数据秒级查询响应技术实践