运行LIama2得8400万元!最快AI推理芯片成本推算引热议

AIGC动态9个月前发布 量子位
12 0 0

运行LIama2得8400万元!最快AI推理芯片成本推算引热议

AIGC动态欢迎阅读

原标题:运行LIama2得8400万元!最快AI推理芯片成本推算引热议
关键字:腾讯,芯片,模型,价格,峰会
文章来源:量子位
内容字数:3617字

内容摘要:


白交 发自 凹非寺量子位 | 公众号 QbitAI想实现史上最快大模型推理,得要1171万美元(8410万元)???
同等项目下,使用英伟达GPU成本只需30万美元……
关于最强AI芯片易主Groq,可能得让子弹再飞一会儿了。
这两天,Groq惊艳亮相。它以号称“性价比高英伟达100倍”的芯片,实现每秒500tokens大模型生成,感受不到任何延迟。外加谷歌TPU团队这样一个高精尖人才Buff,让不少人直呼:英伟达要被碾压了……
喧嚣过后开始出现一些理智讨论,其中主要还是针对Groq的效益成本问题。
网友粗略一算,现在演示Demo就需要568块芯片,花费1171万美元。
于是乎,业内业外各界人士不约而同地展开了一场算术大法。
甚至出现了位分析师,拿着表格现身说法……
并感叹了句:OK,everybody is doing public math this week.
不过Groq也第一时间在社交网络上进行了回应。
“每个人都在做数学”参与到Groq成本问题讨论的,有计算机学生,也有同提供推理服务的云厂商,甚至还有Groq前员工大战现员工……好不热闹。
摘取几个有代表性的,我们来看看大家


原文链接:运行LIama2得8400万元!最快AI推理芯片成本推算引热议

联系作者

文章来源:量子位
作者微信:QbitAI
作者简介:追踪人工智能新趋势,关注科技行业新突破

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...