120亿Stable LM 2上线即开源！2万亿token训练，碾压Llama 2 70B

AIGC动态欢迎阅读

原标题：120亿Stable LM 2上线即开源！2万亿token训练，碾压Llama 2 70B
关键字：模型,报告,性能,数据,基准
文章来源：新智元
内容字数：5257字

内容摘要：

新智元报道编辑：编辑部
【新智元导读】Stability AI推出Stable LM 2 12B模型，作为其新模型系列的进一步升级，该模型基于七种语言的2万亿Token进行训练，拥有更多参数和更强性能，据称在某些基准下能超越Llama 2 70B。继16亿轻量级Stable LM 2推出之后，12B参数的版本在今天亮相了。
见状，不少网友纷纷喊话：干的漂亮！但，Stable Diffusion 3啥时候出啊？总得来说，Stable LM 2 12B参数更多，性能更强。
120亿参数版本包含了基础模型和指令微调模型，并在七种多语言，高达2万亿Token数据集上完成训练。
在基准测试中，其性能赶超Llama 2 70B等开源模型。
官博介绍，最新版本的模型兼顾了性能、效率、内存需求和速度，同时继续采用了Stable LM 2 1.6B模型的框架。
通过这次更新，研究人员还为开发者提供了一个透明而强大的工具，以推动AI语言技术的创新。
模型地址：https://huggingface.co/stabilityai/stablelm-2-12b
虽然目前只支持4K的上下文窗口，但你先别急。

原文链接：120亿Stable LM 2上线即开源！2万亿token训练，碾压Llama 2 70B

联系作者

文章来源：新智元
作者微信：AI_era
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人对人类社会与文明进化的影响，领航中国新智能时代。