首个开源MoE大模型发布！7Bx8个专家，离GPT-4最近的一集

AIGC动态欢迎阅读

原标题：首个开源MoE大模型发布！7Bx8个专家，离GPT-4最近的一集

关键字：模型,磁力,链接,专家,对比

文章来源：量子位

内容字数：3370字

内容摘要：梦晨 发自 凹非寺量子位 | 公众号 QbitAI“取消今晚所有计划！”，许多AI开发者决定不睡了。只因首个开源MoE大模型刚刚由Mistral AI发布。MoE架构全称专家混合（Mixture-of-Experts），也就是传闻中GPT-4采用的方案，可以说这是开源大模型离GPT-4最近的一集了。没有发布会、没有宣传视频，只靠一个磁力链接，就产生如此轰动效果。具体参数还得是网速快的人下载完之后，从配置文件里截图发出来的：7B参数x8个专家，对每个token选择前两个最相关的专家来处理。以至于OpenAI创始成员Karpathy都吐槽，是不是少了点什么？怎么缺了一个那种排练很多次的专业范视频，大谈特谈AI变革啊。至于吐槽的是谁，懂得都懂了。以及他还解释了为什么AI社区这几天如此活跃：最大的深度学习会议NeurIPS即将在下周开启。MoE，开源大模型新阶段？为何这款开源MoE模型如此受关注？…

原文链接：点此阅读原文：首个开源MoE大模型发布！7Bx8个专家，离GPT-4最近的一集

联系作者

文章来源：量子位

作者微信：QbitAI

作者简介：追踪人工智能新趋势，关注科技行业新突破