Meta AI推出适用于移动设备的紧凑型语言模型

AIGC动态5个月前发布 AI范儿
6 0 0

Meta AI推出适用于移动设备的紧凑型语言模型

AIGC动态欢迎阅读

原标题:Meta AI推出适用于移动设备的紧凑型语言模型
关键字:模型,高效,语言,参数,设备
文章来源:AI范儿
内容字数:0字

内容摘要:


点击上方蓝字关注我们“Meta AI 推出 MobileLLM,一种为移动设备设计的高效语言模型。该模型通过优化参数,实现了与更大模型相当的性能,推动了 AI 模型小型化和效率化的趋势。Meta AI 研究团队最近推出了 MobileLLM,这是一种为移动设备和其他资源受限环境量身定制的高效语言模型。这项研究在 2024 年 6 月 27 日发布,它打破了人们对于 AI 模型必须庞大的传统认知。
这个由 Meta Reality Labs、PyTorch 和 Meta AI Research (FAIR) 的成员组成的团队,专注于开发参数不足 10 亿的模型,这与 GPT-4 等拥有超过一万亿参数的庞然大物相比,简直是小巫见大巫。
Meta 的首席人工智能科学家 Yann LeCun 在 X 平台上分享了这项研究的几个亮点:MobileLLM 的创新之处在于:
– 强调模型的深度而非广度
– 采用嵌入共享和分组查询注意力机制
– 引入了一种创新的即时块状权重共享技术
这些设计决策让 MobileLLM 在标准测试任务上的性能比同等规模的旧模型提升了 2.7% 到 4.3%。虽然这些提升


原文链接:Meta AI推出适用于移动设备的紧凑型语言模型

联系作者

文章来源:AI范儿
作者微信:AI_Insights
作者简介:AI领域四大媒体之一。 智能未来,始于Prompt!

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...