轻量级模型，重量级性能，TinyLlama、LiteLlama小模型火起来了

AIGC动态欢迎阅读

原标题：轻量级模型，重量级性能，TinyLlama、LiteLlama小模型火起来了
关键字：模型,参数,研究者,任务,语言
文章来源：机器之心
内容字数：4559字

内容摘要：

机器之心报道
编辑：陈萍、大盘鸡小身板，大能量。
当大家都在研究大模型（LLM）参数规模达到百亿甚至千亿级别的同时，小巧且兼具高性能的小模型开始受到研究者的关注。
小模型在边缘设备上有着广泛的应用，如智能手机、物联网设备和嵌入式系统，这些边缘设备通常具有有限的计算能力和存储空间，它们无法有效地运行大型语言模型。因此，深入探究小型模型显得尤为重要。
接下来我们要介绍的这两项研究，可能满足你对小模型的需求。
TinyLlama-1.1B
来自新加坡科技设计大学（SUTD）的研究者近日推出了 TinyLlama，该语言模型的参数量为 11 亿，在大约 3 万亿个 token 上预训练而成。论文地址：https://arxiv.org/pdf/2401.02385.pdf
项目地址：https://github.com/jzhang38/TinyLlama/blob/main/README_zh-CN.md
TinyLlama 以 Llama 2 架构和分词器（tokenizer）为基础，这意味着 TinyLlama 可以在许多基于 Llama 的开源项目中即插即用。此外，TinyLlama

原文链接：轻量级模型，重量级性能，TinyLlama、LiteLlama小模型火起来了