现在LLM 的大小为什么都设计成6/7B、13B和130B几个档次?

AIGC动态6个月前发布 算法邦
14 0 0

现在LLM 的大小为什么都设计成6/7B、13B和130B几个档次?

AIGC动态欢迎阅读

原标题:现在LLM 的大小为什么都设计成6/7B、13B和130B几个档次?
关键字:腾讯,知乎,显存,模型,侵权
文章来源:算法邦
内容字数:0字

内容摘要:


6月27日15点,3位腾讯云专家将在线直播,分享腾讯云在内容创作、Al问答及知识点提炼、智能调研和报告生成等领域的应用探索和落地实践,欢迎扫码预约直播。导读本文来自知乎,作者为真中,出于学术/技术分享进行转载,如有侵权,联系删文。
本文作者对知乎的一个问题“现在LLM 的大小为什么都设计成6/7B、13B和130B几个档次?”进行回答并对评论区的问题“怎么计算显存占用”进行了补充回答。
原文链接:https://www.zhihu.com/question/627258986/answer/3262812950现在LLM 的大小为什么都设计成6/7B、13B和130B几个档次?
能下载到的模型普遍都是6/7B(小)、13B(中)、大(130B) 三种,比如ChatGLM 和Llama2 等。这个在数学上有什么讲究吗?
答案简单,就是匹配显存。
6B模型可以在在12/16/24G显存的消费级显卡部署和训练。如果一个公司的模型不打算在消费级显卡部署,通常不会训6B这个规模。而且通常还会有一个1.4b或者2.8b,这个是比较适合在手机、车载端量化部署的尺寸。
13B模型按照4k长度组织数


原文链接:现在LLM 的大小为什么都设计成6/7B、13B和130B几个档次?

联系作者

文章来源:算法邦
作者微信:allplusai
作者简介:智猩猩矩阵账号之一,聚焦生成式AI,重点关注模型与应用。

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...