端侧最强，Meta田渊栋等人卷10亿以下参数小模型，LeCun：小技巧启动

AIGC动态欢迎阅读

原标题：端侧最强，Meta田渊栋等人卷10亿以下参数小模型，LeCun：小技巧启动
关键字：模型,报告,规模,权重,研究者
文章来源：机器之心
内容字数：6103字

内容摘要：

机器之心报道
机器之心编辑部Meta 推出 MobileLLM 系列，一款适用于移动设备上的「小」模型。「在移动设备上运行 LLM？可能需要 Meta 的一些技巧。」刚刚，图灵奖得主 Yann LeCun 在个人社交平台表示。他所宣传的这项研究来自 Meta 最新论文《 MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases 》，在众多作者中也有我们熟悉的来自 Meta FAIR 田渊栋。
田渊栋表示：「我们的 MobileLLM 预训练模型（125M/350M），性能达到 SoTA，特别是在 / API 调用方面表现出色。此外，本工作中的一个有趣研究是跨 Transformer 层的权重共享，这样不仅节省了参数，还减少了推理过程中的延迟。」论文地址：https://arxiv.org/pdf/2402.14905.pdf
现阶段大语言模型（LLM）已经渗透到人类生活的各个方面，尤其是以 ChatGPT 等为代表的模型，这类研究主要在云环境中运行。
然而领先的模型如 Ch

原文链接：端侧最强，Meta田渊栋等人卷10亿以下参数小模型，LeCun：小技巧启动