三个程序员奋战三天重写推理堆栈，Grok-2 mini直接提速两倍，马斯克亲发贺电

AIGC动态欢迎阅读

原标题：三个程序员奋战三天重写推理堆栈，Grok-2 mini直接提速两倍，马斯克亲发贺电
关键字：模型,吞吐量,语言,速度,系统
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
机器之心编辑部一直在用 Grok-2 的用户可能察觉到，这两天，它好像变快了：上周，xAI 发布了 Grok-2 聊天机器人，并在 X 平台上以每月 8 美元的价格提供服务。
用户的感觉也不是错觉，Grok-2 的两个版本 Grok-2 和 Grok-2 mini（后者功能更弱但速度更快），确实都提高了分析信息和输出回复的速度。
xAI 的开发人员 Igor Babuschkin 发布了一条动态，揭示了这次提速背后的原因：正如这条动态所说，他和 xAI 的另外两名开发人员 Lianmin Zheng 和 Saeed Maleki 奋战了三天，用 SGLang 重写了推理技术栈。这次奋战的结果很理想：在评价人工智能模型性能的第三方 Lmsys Chatbot Arena 排行榜更新中，Grok-2 主模型在 6686 次投票中获得了 1293 分的成绩。这使得 Grok-2 成为世界上最强人工智能模型中的第二名，与谷歌的 Gemini-1.5 Pro 模型并列，仅次于 OpenAI 的最新版本 ChatGPT-4o，且超越了 GPT-4o（2024 年 5 月）。图源：ht

原文链接：三个程序员奋战三天重写推理堆栈，Grok-2 mini直接提速两倍，马斯克亲发贺电

联系作者

文章来源：机器之心
作者微信：
作者简介：