0门槛免费商用！孟子3-13B大模型正式开源，万亿token数据训练

AIGC动态欢迎阅读

原标题：0门槛免费商用！孟子3-13B大模型正式开源，万亿token数据训练
关键字：模型,峰会,语料,能力,范围内
文章来源：量子位
内容字数：4046字

内容摘要：

白交发自凹非寺量子位 | 公众号 QbitAI澜舟科技官宣：孟子3-13B大模型正式开源！
这一主打高性价比的轻量化大模型，面向学术研究完全开放，并支持免费商用。
在MMLU、GSM8K、HUMAN-EVAL等各项基准测评估中，孟子3-13B都表现出了不错的性能。
尤其在参数量20B以内的轻量化大模型领域，在中英文语言能力方面尤为突出，数学和编程能力也位于前列。
△以上结果基于5-shot。据介绍，孟子3-13B大模型是基于Llama架构，数据集规模高达3T Tokens。
语料精选自网页、百科、社交、媒体、新闻，以及高质量的开源数据集。通过在万亿tokens上进行多语言语料的继续训练，模型的中文能力突出并且兼顾多语言能力。
孟子3-13B大模型开源只需两步，就能使用孟子3-13B大模型了。
首先进行环境配置。
pipinstall-rrequirements.txt
然后快速开始。
importtorchfromtransformersimportAutoModelForCausalLM,AutoTokenizertokenizer=AutoTokenizer.from_pret

原文链接：0门槛免费商用！孟子3-13B大模型正式开源，万亿token数据训练