挑战Scaling Law，Meta发布移动端350M小模型MobileLLM，性能比肩7B LLaMA-v2

AIGC动态欢迎阅读

原标题：挑战Scaling Law，Meta发布移动端350M小模型MobileLLM，性能比肩7B LLaMA-v2
关键字：模型,参数,架构,性能,论文
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：乔杨
【新智元导读】Scaling Law还没走到尽头，「小模型」逐渐成为科技巨头们的追赶趋势。Meta最近发布的MobileLLM系列，规模甚至降低到了1B以下，两个版本分别只有125M和350M参数，但却实现了比更大规模模型更优的性能。从5月和6月几家科技巨头的发布会中，我们已经能隐隐感受到AI的一个重要发展趋势：从云数据中心走向个人用户，从大型服务器走向笔记本和移动设备。
遵循Scaling Law已经不再是唯一的路径，模型「以小搏大」的故事不断上演。
先有微软更新Phi系列小模型，一个树莓派即可运行RAG；后有谷歌用27B参数Gemma 2力压70B的Llama 3。
硬件方面，我们看到了AI功能逐渐与电子产品进行深度集成。
比如微软臭名昭著的Recall功能，正是他们AI+PC战略的重要组成部分；苹果也在Apple Intelligence的大旗下推出用于3B小模型，力求与iOS无缝衔接。
如今LLM的参数量动辄上百亿，苹果3B的参数量已经显得十分迷你，但对手机这种移动设备来说依旧有很高门槛。
不仅用2-bit和4-bit混合精度压缩模型（平均每个权重3.5

原文链接：挑战Scaling Law，Meta发布移动端350M小模型MobileLLM，性能比肩7B LLaMA-v2

联系作者

文章来源：新智元
作者微信：
作者简介：