2024属于小模型时代？TinyLlama 等小模型爆火

AIGC动态欢迎阅读

原标题：2024属于小模型时代？TinyLlama 等小模型爆火
关键字：模型,参数,语言,研究者,任务
文章来源：算法邦
内容字数：4495字

内容摘要：

直播预告 | 明晚(周三)7点，「多模态大模型线上闭门会」正式开讲！阿里巴巴通义实验室 NLP 高级算法专家严明参与出品，携手刘兆洋、李彦玮、文束三位青年学者，共同探讨多模态大模型的发展与应用，欢迎报名。本文转载自公众号：AINLPer，作者：ShuYini。当大家都在研究大模型（LLM）参数规模达到百亿甚至千亿级别的同时，小巧且兼具高性能的小模型开始受到研究者的关注。
小模型在边缘设备上有着广泛的应用，如智能手机、物联网设备和嵌入式系统，这些边缘设备通常具有有限的计算能力和存储空间，它们无法有效地运行大型语言模型。因此，深入探究小型模型显得尤为重要。
接下来我们要介绍的这两项研究，可能满足你对小模型的需求。
01TinyLlama-1.1B来自新加坡科技设计大学（SUTD）的研究者近日推出了 TinyLlama，该语言模型的参数量为 11 亿，在大约 3 万亿个 token 上预训练而成。论文地址：
https://arxiv.org/pdf/2401.02385.pdf
项目地址：
https://github.com/jzhang38/TinyLlama/blob/main/RE

原文链接：2024属于小模型时代？TinyLlama 等小模型爆火