马斯克打脸OpenAI，全球最大巨无霸模型Grok-1开源！3140亿参数8个MoE，GitHub狂揽6k星

AIGC动态欢迎阅读

原标题：马斯克打脸OpenAI，全球最大巨无霸模型Grok-1开源！3140亿参数8个MoE，GitHub狂揽6k星
关键字：模型,元宇宙,参数,代码,权重
文章来源：新智元
内容字数：6014字

内容摘要：

新智元报道编辑：编辑部
【新智元导读】xAI的Grok，在七天后如期开源了！公开Grok背后代码，让马斯克对OpenAI啪啪打脸。3140亿参数8个MoE，权重架构全开放，项目一上线已经在GitHub上狂揽6k星。说到做到，马斯克xAI的Grok，果然如期开源了！
就在刚刚，xAI正式发布3140亿参数混合专家模型Grok-1的权重和架构。
3140亿的参数，让Grok-1成为迄今参数量最大的开源LLM，是Llama 2的4倍。
目前，xAI关于Grok-1没有透露更多信息。
官网放出的信息如下——
– 基础模型在大量文本数据上训练，未针对任何特定任务进行微调。
– 314B参数的MoE，有25%的权重在给定token上处于激活状态。
– 2023年10月，xAI使用JAX和Rust之上的自定义训练堆栈从头开始训练。
一经上线GitHub，Grok就狂揽了6k星，586个Fork。
项目地址：https://github.com/xai-org/grok-1
马斯克还不忘嘲讽OpenAI一番，「告诉我们更多关于OpenAI的「open」部分…」
纽约时报点评道，开源Gork背后的

原文链接：马斯克打脸OpenAI，全球最大巨无霸模型Grok-1开源！3140亿参数8个MoE，GitHub狂揽6k星

联系作者

文章来源：新智元
作者微信：AI_era
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。