120亿Stable LM 2上线即开源!2万亿token训练,碾压Llama 2 70B

AIGC动态7个月前发布 新智元
9 0 0

120亿Stable LM 2上线即开源!2万亿token训练,碾压Llama 2 70B

AIGC动态欢迎阅读

原标题:120亿Stable LM 2上线即开源!2万亿token训练,碾压Llama 2 70B
关键字:模型,报告,性能,数据,基准
文章来源:新智元
内容字数:5257字

内容摘要:


新智元报道编辑:编辑部
【新智元导读】Stability AI推出Stable LM 2 12B模型,作为其新模型系列的进一步升级,该模型基于七种语言的2万亿Token进行训练,拥有更多参数和更强性能,据称在某些基准下能超越Llama 2 70B。继16亿轻量级Stable LM 2推出之后,12B参数的版本在今天亮相了。
见状,不少网友纷纷喊话:干的漂亮!但,Stable Diffusion 3啥时候出啊?总得来说,Stable LM 2 12B参数更多,性能更强。
120亿参数版本包含了基础模型和指令微调模型,并在七种多语言,高达2万亿Token数据集上完成训练。
在基准测试中,其性能赶超Llama 2 70B等开源模型。
官博介绍,最新版本的模型兼顾了性能、效率、内存需求和速度,同时继续采用了Stable LM 2 1.6B模型的框架。
通过这次更新,研究人员还为开发者提供了一个透明而强大的工具,以推动AI语言技术的创新。
模型地址:https://huggingface.co/stabilityai/stablelm-2-12b
虽然目前只支持4K的上下文窗口,但你先别急。


原文链接:120亿Stable LM 2上线即开源!2万亿token训练,碾压Llama 2 70B

联系作者

文章来源:新智元
作者微信:AI_era
作者简介:智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...