豪赌!哈佛辍学华人竟然发布了只支持Transformer一种算法的AI芯片,一张顶20张H100 ,比GB200快

豪赌!哈佛辍学华人竟然发布了只支持Transformer一种算法的AI芯片,一张顶20张H100 ,比GB200快

AIGC动态欢迎阅读

原标题:豪赌!哈佛辍学华人竟然发布了只支持Transformer一种算法的AI芯片,一张顶20张H100 ,比GB200快
关键字:芯片,模型,创始人,投资人,公司
文章来源:夕小瑶科技说
内容字数:0字

内容摘要:


夕小瑶科技说 分享来源 | 量子位首款大模型推理专用ASIC芯片问世,一上来就要挑战英伟达——
一张顶20张H100
700亿参数Llama 3吞吐量达到每秒500000(五十万)tokens
比英伟达下一代芯片GB200快一个数量级,还更便宜
Sohu芯片,来自初创公司Etched,一经推出就引起业界墙裂关注。
作为专用集成电路ASIC,与通用计算的GPU不同,它只支持Transformer一种算法,无法运行同为神经网络的CNN、LSTM、以及Mamba等状态空间模型。
Etched公司也刚刚完成1.2亿美元A轮融资(约8.7亿元人民币),Peter Thiel、GitHub现任CEO Thomas Dohmke等重量级天使投资人参与。公司还透露,已有某客户预定了价值数千万美元的硬件产品。
今天的每个SOTA模型都基于Transformer,ChatGPT、Sora、Gemini、Stable Diffusion 3等。假如有一天Transformer被SSM、RWKV或任何新架构取代,我们的芯片将毫无价值。但如果我们是对的,Sohu将改变世界。
对此,Mamba作者Tri Dao也


原文链接:豪赌!哈佛辍学华人竟然发布了只支持Transformer一种算法的AI芯片,一张顶20张H100 ,比GB200快

联系作者

文章来源:夕小瑶科技说
作者微信:xixiaoyaoQAQ
作者简介:专业、有趣、深度价值导向的科技媒体。聚集30万AI工程师、研究员,覆盖500多家海内外机构投资人,互联网大厂中高管和AI公司创始人。一线作者来自清北、国内外顶级AI实验室和大厂,兼备敏锐的行业嗅觉和洞察深度。商务合作:zym5189

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...