史上最快AI芯片「Sohu」，速度10倍于B200，哈佛辍学生打造

AIGC动态欢迎阅读

原标题：史上最快AI芯片「Sohu」，速度10倍于B200，哈佛辍学生打造
关键字：芯片,模型,利用率,美元,张量
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
编辑：泽南、杜伟生成式 AI 推理性价比是 GPU 的 140 倍。大模型时代，全球都缺算力，买铲子的英伟达市值被炒上了天。
现在，终于有一家公司带着自己的 AI 芯片来叫板了。
今天凌晨，科技圈迎来了一个重要新闻。美国芯片创业公司 Etched 推出了自己的第一块 AI 芯片 Sohu，它运行大模型的速度比英伟达 H100 要快 20 倍，比今年 3 月才推出的顶配芯片 B200 也要快上超过 10 倍。一台 Sohu 的服务器运行 Llama 70B 每秒可输出超过 50 万个 token，比 H100 服务器（23,000 个 token / 秒）多 20 倍，比 B200 服务器（约 45,000 个 token / 秒）多 10 倍。Sohu 是世界第一款专用于 Transformer 计算的芯片，历时两年打造。
作为一块 ASIC（专用集成电路），Sohu 把对于 transformer 架构的优化硬化在芯片中，无法运行大多数「传统」的 AI 模型：如为 Instagram 广告提供支持的 DLRM、AlphaFold 2 等蛋白质折叠模型或 Stable D

原文链接：史上最快AI芯片「Sohu」，速度10倍于B200，哈佛辍学生打造