现在LLM 的大小为什么都设计成6/7B、13B和130B几个档次？

AIGC动态欢迎阅读

原标题：现在LLM 的大小为什么都设计成6/7B、13B和130B几个档次？
关键字：腾讯,知乎,显存,模型,侵权
文章来源：算法邦
内容字数：0字

内容摘要：

6月27日15点，3位腾讯云专家将在线直播，分享腾讯云在内容创作、Al问答及知识点提炼、智能调研和报告生成等领域的应用探索和落地实践，欢迎扫码预约直播。导读本文来自知乎，作者为真中合欢，出于学术/技术分享进行转载，如有侵权，联系删文。
本文作者对知乎的一个问题“现在LLM 的大小为什么都设计成6/7B、13B和130B几个档次？”进行回答并对评论区的问题“怎么计算显存占用”进行了补充回答。
原文链接：https://www.zhihu.com/question/627258986/answer/3262812950现在LLM 的大小为什么都设计成6/7B、13B和130B几个档次？
能下载到的模型普遍都是6/7B(小)、13B(中)、大(130B) 三种，比如ChatGLM 和Llama2 等。这个在数学上有什么讲究吗？
答案简单，就是匹配显存。
6B模型可以在在12/16/24G显存的消费级显卡部署和训练。如果一个公司的模型不打算在消费级显卡部署，通常不会训6B这个规模。而且通常还会有一个1.4b或者2.8b，这个是比较适合在手机、车载端量化部署的尺寸。
13B模型按照4k长度组织数

原文链接：现在LLM 的大小为什么都设计成6/7B、13B和130B几个档次？

联系作者

文章来源：算法邦
作者微信：allplusai
作者简介：智猩猩矩阵账号之一，聚焦生成式AI，重点关注模型与应用。