史上最快AI芯片「Sohu」,速度10倍于B200,哈佛辍学生打造

史上最快AI芯片「Sohu」,速度10倍于B200,哈佛辍学生打造

AIGC动态欢迎阅读

原标题:史上最快AI芯片「Sohu」,速度10倍于B200,哈佛辍学生打造
关键字:芯片,模型,利用率,美元,张量
文章来源:机器之心
内容字数:0字

内容摘要:


机器之心报道
编辑:泽南、杜伟生成式 AI 推理性价比是 GPU 的 140 倍。大模型时代,全球都缺算力,买铲子的英伟达市值被炒上了天。
现在,终于有一家公司带着自己的 AI 芯片来叫板了。
今天凌晨,科技圈迎来了一个重要新闻。美国芯片创业公司 Etched 推出了自己的第一块 AI 芯片 Sohu,它运行大模型的速度比英伟达 H100 要快 20 倍,比今年 3 月才推出的顶配芯片 B200 也要快上超过 10 倍。一台 Sohu 的服务器运行 Llama 70B 每秒可输出超过 50 万个 token,比 H100 服务器(23,000 个 token / 秒)多 20 倍,比 B200 服务器(约 45,000 个 token / 秒)多 10 倍。Sohu 是世界第一款专用于 Transformer 计算的芯片,历时两年打造。
作为一块 ASIC(专用集成电路),Sohu 把对于 transformer 架构的优化硬化在芯片中,无法运行大多数「传统」的 AI 模型:如为 Instagram 广告提供支持的 DLRM、AlphaFold 2 等蛋白质折叠模型或 Stable D


原文链接:史上最快AI芯片「Sohu」,速度10倍于B200,哈佛辍学生打造

联系作者

文章来源:机器之心
作者微信:almosthuman2014
作者简介:专业的人工智能媒体和产业服务平台

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...