最强开源大模型Llama 3来了!4000亿参数狙击GPT-4,训练数据达Llama 2七倍

AIGC动态7个月前发布 智东西
15 0 0

最强开源大模型Llama 3来了!4000亿参数狙击GPT-4,训练数据达Llama 2七倍

AIGC动态欢迎阅读

原标题:最强开源大模型Llama 3来了!4000亿参数狙击GPT-4,训练数据达Llama 2七倍
关键字:模型,数据,性能,参数,效率
文章来源:智东西
内容字数:8329字

内容摘要:


开源大模型超闭源?Meta重回开源大模型铁王座。
编译|长颈鹿
编辑|李水青
智东西4月19日消息,昨夜,Meta推出迄今为止能力最强的开源大模型Llama 3系列,发布8B和70B两个版本。
Llama 3在一众榜单中取得开源SOTA(当前最优效果)。Llama 3 8B在MMLU、GPQA、HumanEval、GSM-8K等多项基准上超过谷歌Gemma 7B和Mistral 7B Instruct。
▲Llama 3与Gemma、Mistral、Gemini、Claude 3的模型性能对比表
Llama 3 70B也在MMLU、HumanEval、GSM-8K等基准上超越了闭源的谷歌Gemini Pro 1.5、Claude 3 Sonnet。
Llama 3系列最大模型规模将超过4000亿参数,英伟达科学家Jim Fan认为,这一版本未来的推出将意味开源社区的一个分水岭,开源模型将一举翻越GPT-4这一高峰。
▲Jim Fan对Llama 3表示赞叹
Llama 3模型基于超过15T个token的公开数据预训练,其中数据量是Llama 2的七倍,代码量也增至四倍。此外,Llama


原文链接:最强开源大模型Llama 3来了!4000亿参数狙击GPT-4,训练数据达Llama 2七倍

联系作者

文章来源:智东西
作者微信:zhidxcom
作者简介:智能产业新媒体!智东西专注报道人工智能主导的前沿技术发展,和技术应用带来的千行百业产业升级。聚焦智能变革,服务产业升级。

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...