MiniMax 基于 Apache Doris 升级日志系统,PB 数据秒级查询响应技术实践

AIGC动态3个月前发布 AI前线
4 0 0

MiniMax 基于 Apache Doris 升级日志系统,PB 数据秒级查询响应技术实践

AIGC动态欢迎阅读

原标题:MiniMax 基于 Apache Doris 升级日志系统,PB 数据秒级查询响应技术实践
关键字:日志,数据,系统,架构,模型
文章来源:AI前线
内容字数:0字

内容摘要:


作者|MiniMax 基础架构研发工程师 Koyomi、香克斯、Tinker 导读:早期 MiniMax 基于 Grafana Loki 构建了日志系统,在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案,并基于 Apache Doris 升级了日志系统,新系统已接入 MiniMax 内部所有业务线日志数据,数据规模为 PB 级, 整体可用性达到 99.9% 以上,10 亿级日志数据的检索速度可实现秒级响应。
MiniMax 是领先的通用人工智能科技公司,自主研发了不同模态的通用大模型,其中包括拥有万亿参数的 MoE 文本大模型、语音大模型以及图像大模型。MiniMax 以“与用户共创智能”为愿景,通过对大模型持续迭代,MiniMax 在国内率先完成核心 MoE 算法技术路线的突破。2024 年 4 月,公司推出国内首个上线商用的 MoE 架构、包含万亿参数的大语言模型——“MiniMax-abab 6.5”,模型性能接近国际领先水平。
随着模型复杂度以及模型调用量的不断提升,模型训练及推理产生的运行日志也在激增,这些数据对于 AI


原文链接:MiniMax 基于 Apache Doris 升级日志系统,PB 数据秒级查询响应技术实践

联系作者

文章来源:AI前线
作者微信:
作者简介:

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...