马斯克突然开源Grok:3140亿参数巨无霸,免费可商用

AIGC动态8个月前发布 量子位
9 0 0

马斯克突然开源Grok:3140亿参数巨无霸,免费可商用

AIGC动态欢迎阅读

原标题:马斯克突然开源Grok:3140亿参数巨无霸,免费可商用
关键字:腾讯,模型,参数,专家,大小
文章来源:量子位
内容字数:4555字

内容摘要:


鱼羊 克雷西 发自 凹非寺量子位 | 公众号 QbitAI马斯克说到做到:
旗下大模型Grok现已开源!
代码和模型权重已上线GitHub。官方信息显示,此次开源的Grok-1是一个3140亿参数的混合专家模型——
就是说,这是当前开源模型中参数量最大的一个。
消息一出,Grok-1的GitHub仓库已揽获4.5k标星,并且还在库库猛涨。
表情包们,第一时间被吃瓜群众们热传了起来。
ChatGPT本Chat,也现身Grok评论区,开始了和马斯克新一天的斗嘴……
那么,话不多说,来看看马斯克这波为怼OpenAI,究竟拿出了什么真东西。
Grok-1说开源就开源此次开源,xAI发布了Grok-1的基本模型权重和网络架构。
具体来说是2023年10月预训练阶段的原始基础模型,没有针对任何特定应用(例如对话)进行微调。
结构上,Grok-1采用了混合专家(MoE)架构,包含8个专家,总参数量为314B(3140亿),处理Token时,其中的两个专家会被激活,激活参数量为86B。
单看这激活的参数量,就已经超过了密集模型Llama 2的70B,对于MoE架构来说,这样的参数量称之为庞然大物也毫


原文链接:马斯克突然开源Grok:3140亿参数巨无霸,免费可商用

联系作者

文章来源:量子位
作者微信:QbitAI
作者简介:追踪人工智能新趋势,关注科技行业新突破

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...