MIT系初创打破Transformer霸权！液体基础模型刷新SOTA，非GPT架构首次显著超越Transformer

AIGC动态欢迎阅读

原标题：MIT系初创打破Transformer霸权！液体基础模型刷新SOTA，非GPT架构首次显著超越Transformer
关键字：模型,团队,架构,神经网络,序列
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：Aeneas 好困
【新智元导读】就在刚刚，MIT系初创公司Liquid AI推出液体基础模型LFM，1B模型在基准测试中成为SOTA，这是非GPT架构首次显著超越Transformer模型！背后功臣，就是基于团队提出的液体神经网络（LNN）。就在刚刚，MIT系初创公司Liquid AI团队官宣：推出首批多模态非Transformer模型——液体基础模型LFM。
作为通用人工智能模型，LFM可用于建模任何类型的顺序数据，包括视频、音频、文本、时间序列和信号。
目前，LFM有三种不同的规模：
1.3B的稠密模型，适用于资源高度受限的环境
3.1B的稠密模型，为边缘部署进行了优化
40.3B的混合专家（MoE）模型，专为处理更复杂的任务而设计
在各种规模上，这三个模型都实现了最佳质量表现，同时保持了更小的内存占用和更高效的推理能力。
公司的后训练主管Maxime Labonne表示，LFM是「我职业生涯中发布的最自豪的产品」
这是因为，Liquid AI的新模型保留了液体神经网络适应性的核心优势，允许在推理过程中进行实时调整，而不会产生与传统模型相关的计算开销，能够高效处

原文链接：MIT系初创打破Transformer霸权！液体基础模型刷新SOTA，非GPT架构首次显著超越Transformer

联系作者

文章来源：新智元
作者微信：
作者简介：