卷疯了！最强开源大模型Llama 3发布，最大参数4000亿，小扎内心：大模型比元宇宙香多了

AIGC动态欢迎阅读

原标题：卷疯了！最强开源大模型Llama 3发布，最大参数4000亿，小扎内心：大模型比元宇宙香多了
关键字：模型,小米,字节跳动,人工智能,数据
文章来源：AI前线
内容字数：10898字

内容摘要：

作者| 冬梅
Meta 首席执行官马克·扎克伯格在声明中表示：“我们相信 Meta AI 现在是您可以自由使用的最智能的人工智能助手。”
北京时间 4 月 19 日，Meta 官宣发布了其最先进开源大型语言模型的下一代产品——Llama 3。
据悉，Llama 3 在 24K GPU 集群上训练，使用了 15T 的数据，提供了 80 亿和 700 亿的预训练和指令微调版本。
Meta 在官方博客中表示，“得益于预训练和后训练的改进，我们的预训练和指令微调模型是目前 80 亿 和 700 亿 参数尺度下最好的模型。”最大 4000 亿参数，性能直逼 GPT-4值得注意的是，此次的大模型通过后期训练程序上的改进很大程度上降低了 Llama 3 的错误拒绝率，提高了对齐度，并增加了模型响应的多样性。Meta 研发团队还发现，推理、代码生成和指令跟随等能力也有了很大提高，这使得 Llama 3 的可操控性更强。
80 亿参数模型与 Gemma 7B 和 Mistral 7B Instruct 等模型相比在 MMLU、GPQA、HumanEval 等多项基准上均有更好表现。而 700 亿参数模型

原文链接：卷疯了！最强开源大模型Llama 3发布，最大参数4000亿，小扎内心：大模型比元宇宙香多了

联系作者

文章来源：AI前线
作者微信：ai-front
作者简介：面向AI爱好者、开发者和科学家，提供大模型最新资讯、AI技术分享干货、一线业界实践案例，助你全面拥抱AIGC。