大模型步入「推理Scaling」时代，SambaNova如何挑战英伟达的霸主地位？

AIGC动态欢迎阅读

原标题：大模型步入「推理Scaling」时代，SambaNova如何挑战英伟达的霸主地位？
关键字：模型,芯片,数据流,架构,算子
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
作者：蛋酱OpenAI o1 的发布，再次给 AI 领域带来了一场。
o1 能像人类一样「思考」复杂问题，拥有优秀的通用推理能力。在未经专门训练的情况下，o1 能够直接拿下数学奥赛金牌，甚至能在博士级别的科学问答环节上超越人类专家。
在性能跃升之外，更重要的是，它揭示了大模型进化范式的转变：通过更多的强化学习（训练时计算）和更多的推理（Test-Time 计算），模型可以获得更强大的性能。
这又一次让我们想起 Richard Sutton 在《The Bitter Lesson》中所说的，利用计算能力的一般方法最终是最有效的方法。这类方随着算力的增加而继续扩展，搜索和学习似乎正是两种以此方式随意扩展的方法。连山姆・奥特曼也坦言，在未来的一段时间里，新范式进化的曲线会非常陡峭。
从「训练 Scaling」到「推理 Scaling」的范式转变，也引发了关于计算资源分配和硬件选择的重新思考。领域内的研究者和从业者认识到，一方面，更多的计算资源应该投入到推理阶段，另一方面，优化硬件配置以提升大模型推理的效率将是下一阶段的攻关重点。而大模型要进行推理 Scaling，实际上

原文链接：大模型步入「推理Scaling」时代，SambaNova如何挑战英伟达的霸主地位？