AIGC动态欢迎阅读
原标题:Mistral新旗舰决战Llama 3.1!最强开源Large 2 123B,扛鼎多语言编程全能王
关键字:模型,基准,能力,准确率,参数
文章来源:新智元
内容字数:0字
内容摘要:
新智元报道编辑:
【新智元导读】紧跟着Meta的重磅发布,Mistral Large 2也带着权重一起上新了,而且参数量仅为Llama 3.1 405B的三分之一。不仅在编码、数学和多语言等专业领域可与SOTA模型直接竞争,还支持单节点部署。昨天正式发布的Llama 3.1模型,让AI社区着实为之兴奋。
但是仔细一想就能发现——405B的参数规模,基本是没法让个人开发者在本地运行了。
比如昨天刚发布,就有一位勇敢的网友亲测,用一张英伟达4090运行Llama 3.1。
结果可想而知,等了30分钟模型才开始回应,缓缓吐出一个「The」。
最后结果是,Llama给出完整回应,整整用了20个小时。
根据Artificial Analysis的估算,你需要部署含2张8×H100的DGX超算才能在本地运行405B。
看来,小扎对Llama 3.1成为开源AI界Linux的期待,可能和现实有不少的差距。目前的硬件能力,很难支持405B模型的大范围全量运行。
此时,又一位开源巨头Mistral精准踩点,发布了他们的最新旗舰模型Mistral Large 2。
Mistral Large 2在代
原文链接:Mistral新旗舰决战Llama 3.1!最强开源Large 2 123B,扛鼎多语言编程全能王
联系作者
文章来源:新智元
作者微信:
作者简介:
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...