苹果加入开源大战，官宣端侧小模型OpenELM！参数2.7亿到30亿一台M2 Mac可跑

AIGC动态欢迎阅读

原标题：苹果加入开源大战，官宣端侧小模型OpenELM！参数2.7亿到30亿一台M2 Mac可跑
关键字：模型,参数,准确率,微软,苹果
文章来源：新智元
内容字数：2613字

内容摘要：

新智元报道编辑：桃子
【新智元导读】开源战在这半个月愈演愈烈。先是Llama 3，又到微软Phi-3，再到今天苹果发布的OpenELM。四种不同小参数版本全部上线，我们离iPhone装进大模型不远了。从Llama 3到Phi-3，蹭着开源热乎劲儿，苹果也来搞事情了。
今天，苹果团队发布了OpenELM，包含了2.7亿、4.5亿、11亿和30亿四个参数版本。
与微软刚刚开源的Phi-3相同，OpenELM是一款专为终端设备而设计的小模型。
论文地址：https://arxiv.org/abs/2404.14619
论文称，OpenELM使用了「分层缩放」策略，来有效分配Transformer模型每一层参数，从而提升准确率。
如下这张图，一目了然。
在约10亿参数规模下，OpenELM与OLMo相比，准确率提高了2.36%，同时需要的预训练token减少了2倍。
抱抱脸创始人表示，苹果加入了AI开源大战，一口气在HF中心发布了四款模型。
OpenELM有多强？OpenELM的诞生，显然瞄准了谷歌、三星、微软这类的竞争对手。
近几天，微软开源的Phi-3，在AI社区引起了不小的反响。
因为

原文链接：苹果加入开源大战，官宣端侧小模型OpenELM！参数2.7亿到30亿一台M2 Mac可跑

联系作者

文章来源：新智元
作者微信：AI_era
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。