Stability、Mistral、Databricks、通义、A21 Labs开源五连招，其中三个是MoE！|大模型一周大事

AIGC动态欢迎阅读

原标题：Stability、Mistral、Databricks、通义、A21 Labs开源五连招，其中三个是MoE！|大模型一周大事
关键字：报告,模型,小米,解读,智能
文章来源：AI前线
内容字数：9176字

内容摘要：

大模型的快节奏发展，让了解最新技术动态、积极主动学习成为每一位从业者的必修课。InfoQ研究中心期望通过每周更新大模型行业最新动态，为广大读者提供全面的行业回顾和要点分析。现在，让我们回顾过去一周的大模型重大吧。一、重点发现本周，开源领域五模型先后问世，Stability AI 开源了 Stable Code Instruct-3B，Mistral AI 宣布 Mistral 7B v0.2 Base Model， Databricks 开源了其 MoE 模型 DBRX，通义千问团队发布 MoE 模型：Qwen1.5-MoE-A2.7B，A21 Labs 宣布开源 MoE 大模型 Jamba。其中，DBRX、Qwen1.5-MoE-A2.7B 和 Jamba 都是 MoE 模型（混合专家模型）。自从去年关于 GPT-4 的爆料和下半年 Mistral AI 开源了其 Mixtal-8×7B-MoE 模型，在广泛的关注下，MoE 成为了大语言模型的一个重要研究方向。MoE 本质是将计算负载分配给专门处理特定任务的专家，术业有专攻，这种方式不仅有利于模型进行更高效的预训练和推理速度，

原文链接：Stability、Mistral、Databricks、通义、A21 Labs开源五连招，其中三个是MoE！|大模型一周大事