刚刚!马斯克履约开源Grok,超越Llama成全球最大开源模型,却被怀疑是作秀?!

AIGC动态8个月前发布 AI前线
13 0 0

刚刚!马斯克履约开源Grok,超越Llama成全球最大开源模型,却被怀疑是作秀?!

AIGC动态欢迎阅读

原标题:刚刚!马斯克履约开源Grok,超越Llama成全球最大开源模型,却被怀疑是作秀?!
关键字:解读,人工智能,模型,表示,算法
文章来源:AI前线
内容字数:8099字

内容摘要:


整理| 李冬梅、褚杏娟
本周一,马斯克在他的社交媒体平台 X 上宣布 xAI 开源 Grok,这也兑现了他上周的开源承诺。截至目前,Grok 已经在 GitHub 上获得了 4.3k 颗 Star。
开源地址:https://github.com/xai-org/grok-1
Grok-1 是一个由 xAI 从头训练的 3140 亿参数的混合专家模型,其中 25% 的权重来处理给定的标记。xAI 这次发布的是大型语言模型 Grok-1 的基本模型权重和网络架构,使用了 Apache-2.0 许可证。
根据介绍,Grok 的架构是在 2023 年 10 月使用自定义训练堆栈在 JAX 和 Rust 上开发的,采用了创新的神经网络设计方法。
“该版本是 Grok-1 预训练阶段的原始基本模型检查点,该阶段于 2023 年 10 月宣告结束。这意味着该模型并未针对任何一种特定的应用(比如对话和交谈)进行了微调。”xAI 在博文里说道。
Andrew Kean Gao 总结了 Grok-1 的模型情况如下:
此外,他还将 Grok-1 与其他开源模型参数量进行了对比,Grok-1 是 Llam


原文链接:刚刚!马斯克履约开源Grok,超越Llama成全球最大开源模型,却被怀疑是作秀?!

联系作者

文章来源:AI前线
作者微信:ai-front
作者简介:面向AI爱好者、开发者和科学家,提供大模型最新资讯、AI技术分享干货、一线业界实践案例,助你全面拥抱AIGC。

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...