消费级显卡可用！李开复零一万物发布并开源90亿参数Yi模型，代码数学能力史上最强

AIGC动态欢迎阅读

原标题：消费级显卡可用！李开复零一万物发布并开源90亿参数Yi模型，代码数学能力史上最强
关键字：腾讯,模型,性能,万物,数据
文章来源：量子位
内容字数：4607字

内容摘要：

丰色发自凹非寺量子位 | 公众号 QbitAI李开复旗下AI公司零一万物，又一位大模型选手登场：
90亿参数Yi-9B。
它号称Yi系列中的“理科状元”，“恶补”了代码数学，同时综合能力也没落下。
在一系列类似规模的开源模型（包括Mistral-7B、SOLAR-10.7B、Gemma-7B、DeepSeek-Coder-7B-Base-v1.5等）中，表现最佳。
老规矩，发布即开源，尤其对开发者友好：
Yi-9B（BF 16）和其量化版 Yi-9B（Int8）都能在消费级显卡上部署。
一块RTX 4090、一块RTX 3090就可以。
深度扩增+多阶段增量训练而成零一万物的Yi家族此前已经发布了Yi-6B和Yi-34B系列。
这两者都是在3.1T token中英文数据上进行的预训练，Yi-9B则在此基础上，增加了0.8T token继续训练而成。
数据的截止日期是2023年6月。
开头提到，Yi-9B最大的进步在于数学和代码，那么这俩能力究竟如何提升呢？
零一万物介绍：
单靠增加数据量并没法达到预期。
靠的是先增加模型大小，在Yi-6B的基础上增至9B，再进行多阶段数据增量训练

原文链接：消费级显卡可用！李开复零一万物发布并开源90亿参数Yi模型，代码数学能力史上最强