轻量级模型,重量级性能,TinyLlama、LiteLlama小模型火起来了

AIGC动态11个月前发布 机器之心
28 0 0

轻量级模型,重量级性能,TinyLlama、LiteLlama小模型火起来了

AIGC动态欢迎阅读

原标题:轻量级模型,重量级性能,TinyLlama、LiteLlama小模型火起来了
关键字:模型,参数,研究者,任务,语言
文章来源:机器之心
内容字数:4559字

内容摘要:


机器之心报道
编辑:陈萍、大盘鸡小身板,大能量。
当大家都在研究大模型(LLM)参数规模达到百亿甚至千亿级别的同时,小巧且兼具高性能的小模型开始受到研究者的关注。
小模型在边缘设备上有着广泛的应用,如智能手机、物联网设备和嵌入式系统,这些边缘设备通常具有有限的计算能力和存储空间,它们无法有效地运行大型语言模型。因此,深入探究小型模型显得尤为重要。
接下来我们要介绍的这两项研究,可能满足你对小模型的需求。
TinyLlama-1.1B
来自新加坡科技设计大学(SUTD)的研究者近日推出了 TinyLlama,该语言模型的参数量为 11 亿,在大约 3 万亿个 token 上预训练而成。论文地址:https://arxiv.org/pdf/2401.02385.pdf
项目地址:https://github.com/jzhang38/TinyLlama/blob/main/README_zh-CN.md
TinyLlama 以 Llama 2 架构和分词器(tokenizer)为基础,这意味着 TinyLlama 可以在许多基于 Llama 的开源项目中即插即用。此外,TinyLlama


原文链接:轻量级模型,重量级性能,TinyLlama、LiteLlama小模型火起来了

联系作者

文章来源:机器之心
作者微信:almosthuman2014
作者简介:专业的人工智能媒体和产业服务平台

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...