AIGC动态欢迎阅读
原标题:刚刚,Mistral AI最新磁力链放出!8x22B MoE模型,281GB解禁
关键字:模型,磁力,上下文,人工智能,性能
文章来源:新智元
内容字数:1398字
内容摘要:
新智元报道编辑:编辑部
【新智元导读】初创团队Mistral AI再次放出一条磁力链,281GB文件解禁了最新的8x22B MoE模型。一条磁力链,Mistral AI又来闷声不响搞事情。
281.24GB文件中,竟是全新8x22B MOE模型!
全新MoE模型共有56层,48个注意力头,8名专家,2名活跃专家。
而且,上下文长度为65k。
网友纷纷表示,Mistral AI一如既往靠一条磁力链,掀起了AI社区热潮。
对此,贾扬清也表示,自己已经迫不及待想看到它和其他SOTA模型的详细对比了!
靠磁力链火遍整个AI社区去年12月,首个磁力链发布后,Mistral AI公开的8x7B的MoE模型收获了不少好评。
基准测试中,8个70亿参数的小模型性能超越了多达700亿参数的Llama 2。
它可以很好地处理32k长度的上下文,支持英语、法语、意大利语、德语和西班牙语,且在代码生成方面表现出强大的性能。
今年2月,最新旗舰版模型Mistral Large问世,性能直接对标GPT-4。
不过,这个版本的模型没有开源。
Mistral Large具备卓越的逻辑推理能力,能够处理包括文本理解、
原文链接:刚刚,Mistral AI最新磁力链放出!8x22B MoE模型,281GB解禁
联系作者
文章来源:新智元
作者微信:AI_era
作者简介:智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人对人类社会与文明进化的影响,领航中国新智能时代。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...