马斯克开源Grok-1:3140亿参数迄今最大,权重架构全开放,磁力下载

AIGC动态8个月前发布 机器之心
27 0 0

马斯克开源Grok-1:3140亿参数迄今最大,权重架构全开放,磁力下载

AIGC动态欢迎阅读

原标题:马斯克开源Grok-1:3140亿参数迄今最大,权重架构全开放,磁力下载
关键字:模型,权重,数据,能力,参数
文章来源:机器之心
内容字数:7545字

内容摘要:


机器之心报道
机器之心编辑部开源社区有福了。
说到做到,马斯克承诺的开源版大模型 Grok 终于来了!
今天凌晨,马斯克旗下大模型公司 xAI 宣布正式开源 3140 亿参数的混合专家(MoE)模型「Grok-1」,以及该模型的权重和网络架构。
这也使得Grok-1成为当前参数量最大的开源大语言模型。封面图根据 Grok 提示使用 Midjourney 生成的:神经网络的 3D 插图,具有透明节点和发光连接,以不同粗细和颜色的连接线展示不同的权重。
这个时候,马斯克当然不会忘了嘲讽 OpenAI 一番,「我们想了解更多 OpenAI 的开放部分」。回到模型本身,Grok-1 从头开始训练,并且没有针对任何特定应用(如对话)进行微调。相对的,在 X(原 Twitter)上可用的 Grok 大模型是微调过的版本,其行为和原始权重版本并不相同。
Grok-1 的模型细节包括如下:
基础模型基于大量文本数据进行训练,没有针对任何具体任务进行微调;
3140 亿参数的 MoE 模型,在给定 token 上的激活权重为 25%;
2023 年 10 月,xAI 使用 JAX 库和 Rust 语言组


原文链接:马斯克开源Grok-1:3140亿参数迄今最大,权重架构全开放,磁力下载

联系作者

文章来源:机器之心
作者微信:almosthuman2014
作者简介:专业的人工智能媒体和产业服务平台

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...