Meta AI推出适用于移动设备的紧凑型语言模型

AIGC动态欢迎阅读

原标题：Meta AI推出适用于移动设备的紧凑型语言模型
关键字：模型,高效,语言,参数,设备
文章来源：AI范儿
内容字数：0字

内容摘要：

点击上方蓝字关注我们“Meta AI 推出 MobileLLM，一种为移动设备设计的高效语言模型。该模型通过优化参数，实现了与更大模型相当的性能，推动了 AI 模型小型化和效率化的趋势。Meta AI 研究团队最近推出了 MobileLLM，这是一种为移动设备和其他资源受限环境量身定制的高效语言模型。这项研究在 2024 年 6 月 27 日发布，它打破了人们对于 AI 模型必须庞大的传统认知。
这个由 Meta Reality Labs、PyTorch 和 Meta AI Research (FAIR) 的成员组成的团队，专注于开发参数不足 10 亿的模型，这与 GPT-4 等拥有超过一万亿参数的庞然大物相比，简直是小巫见大巫。
Meta 的首席人工智能科学家 Yann LeCun 在 X 平台上分享了这项研究的几个亮点：MobileLLM 的创新之处在于：
– 强调模型的深度而非广度
– 采用嵌入共享和分组查询注意力机制
– 引入了一种创新的即时块状权重共享技术
这些设计决策让 MobileLLM 在标准测试任务上的性能比同等规模的旧模型提升了 2.7% 到 4.3%。虽然这些提升

原文链接：Meta AI推出适用于移动设备的紧凑型语言模型