开源大模型超越GPT-3.5！爆火MoE实测结果出炉，网友：OpenAI越来越没护城河了

AIGC动态欢迎阅读

原标题：开源大模型超越GPT-3.5！爆火MoE实测结果出炉，网友：OpenAI越来越没护城河了

关键字：模型,基准,官方,中文,版本

文章来源：量子位

内容字数：5938字

内容摘要：克雷西 鱼羊 发自 凹非寺量子位 | 公众号 QbitAI一条神秘磁力链接引爆整个AI圈，现在，正式测评结果终于来了：首个开源MoE大模型Mixtral 8x7B，已经达到甚至超越了Llama 2 70B和GPT-3.5的水平。（对，就是传闻中GPT-4的同款方案。）并且由于是稀疏模型，处理每个token仅用了12.9B参数就做到了这般成绩，其推理速度和成本也与12.9B的密集模型相当。消息一出，再次在社交媒体上掀起讨论热潮。OpenAI创始成员Andrej Karpathy第一时间赶到现场整理起了笔记，还高亮出了重点：这家“欧版OpenAI”透露出的最强模型，还只是“中杯”。p.s. Mixtral 8×7B甚至只是小杯……英伟达AI科学家Jim Fan则赞说：每个月都会有十几个新的模型冒出来，但真正能经得住检验的却寥寥无几，能引发大家伙热烈关注的就更少了。并且这波啊，不仅是模型背后公司…

原文链接：点此阅读原文：开源大模型超越GPT-3.5！爆火MoE实测结果出炉，网友：OpenAI越来越没护城河了

联系作者

文章来源：量子位

作者微信：QbitAI

作者简介：追踪人工智能新趋势，关注科技行业新突破