马斯克正式开源 Grok-1，成为全球最大的开源大模型

AIGC动态欢迎阅读

原标题：马斯克正式开源 Grok-1，成为全球最大的开源大模型
关键字：模型,参数,网友,专家,数据
文章来源：爱范儿
内容字数：2327字

内容摘要：

开源了
但又没
完全开源今日凌晨，在一片质疑声中，信守承诺的马斯克卡在最后一日正式开源了 GroK。
好消息是，马斯克开源了 Grok 1.0 的完整代码，坏消息是，关于模型完整的训练过程和细节却是一点也没透露，这就好比给你一本详尽的教科书让你自学成才。
另外，藏着掖着的 Grok 1.5 也没有发布，相信届时会给我们带来一波大惊喜。
本次开源的 Grok 1.0 是拥有 314B 参数的先进混合专家模型，也是截至目前参数量最大的开源大型语言模型，其规模相当于 Meta LlaMA 2 70B 的 4.4 倍。
模型是由 xAI 团队利用定制的训练技术栈，在 JAX 和 Rust 的基础上从零开始构建的，包含了 Grok 1.0 在 2023 年 10 月完成预训练阶段时的基础模型数据。
这也意味着该模型尚未对任何特定应用（如对话系统）进行微调，所以在处理特定任务时的表现甚至不如一些专门为任务微调过的模型。
根据 Apache 2.0 许可协议，现在公众可以访问模型的权重和架构。以下是关于 Grok 1.0 的一些关键信息：
模型参数数量高达 314B混合专家模型(MoE 架构

原文链接：马斯克正式开源 Grok-1，成为全球最大的开源大模型