推理性能超H100十倍！21岁华裔小哥哈佛辍学开发AI加速芯片「Sohu」，2人公司估值3400万刀

AIGC动态欢迎阅读

原标题：推理性能超H100十倍！21岁华裔小哥哈佛辍学开发AI加速芯片「Sohu」，2人公司估值3400万刀
关键字：芯片,性能,模型,公司,构架
文章来源：新智元
内容字数：6200字

内容摘要：

新智元报道编辑：润 好困
【新智元导读】最近，两位哈佛辍学生共同创立的AI芯片公司，估值已达3400万美元，并计划明年交付一款名为「Sohu」的AI推理加速芯片——其LLM推理性能达到H100的10倍，而单价吞吐量更是高达140倍。像Pika一样的神级创业故事又要再次上演了？
两位哈佛退学的年轻人，想要制造一款专用于大语言模型加速的AI加速器芯片，将于2024年第三季度交付，推理性能达H100的10倍。
在今年6月份，两位创始人Gavin Uberti和Chris Zhu创立了Etched.ai，获得了包括Ebay前CEO Devin Wenig在内一众风投机构的536万美元的种子轮投资。
公司估值更是高达3400万美元！
根据公司官网上放出的数据，这款芯片将在硬件层面上集成Transformer构架，将推理速度相比于英伟达H100提升了8-10倍！
他们将第一款LLM加速芯片命名为「Sohu」，号称可以在毫秒级别的时间里处理数千个单词。芯片还支持通过树搜索更好地编码，能够并行比较数百个响应。
还支持多重推测解码（Multicast speculative decoding），可以实

原文链接：推理性能超H100十倍！21岁华裔小哥哈佛辍学开发AI加速芯片「Sohu」，2人公司估值3400万刀

联系作者

文章来源：新智元
作者微信：AI_era
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。