AIGC动态欢迎阅读
原标题:Llama 4训练已开启!Meta科学家最新采访,揭秘Llama 3.1是如何炼成的
关键字:模型,基准,数据,论文,架构
文章来源:新智元
内容字数:0字
内容摘要:
新智元报道编辑:乔杨
【新智元导读】最近,Latent Space发布的播客节目中请来了Meta的AI科学家Thomas Scialom。他在节目中揭秘了Llama 3.1的一些研发思路,并透露了后续Llama 4的更新方向。刚刚发布的开源「巨无霸」Llama 3.1虽然自带论文,但依旧激起了广大网友强烈的好奇心和求知欲。
Llama 3.1都使用了哪些数据?其中有多少合成数据?为什么不使用MoE架构?
后训练与RLHF流程是如何进行的?模型评估是如何进行的?
我们什么时候可以见到Llama 4?Meta是否会发展agent?
恰逢Llama 3.1刚刚发布,Meta科学家就现身播客节目Latent Space,秉持着开源分享的精神,对以上问题都作出了清晰的回答。
受访者Thomas Scialom现任Meta的人工智能研究科学家,领导了Llama 2和Llama 3的后训练,并参加了CodeLlama、Toolformer、Bloom、GAIA等多个项目。
以下是采访内容的节选。
Llama 3.1研发思路如何决定参数规模其实LLM的参数规模的选择需要考虑多种因素,包括scalin
原文链接:Llama 4训练已开启!Meta科学家最新采访,揭秘Llama 3.1是如何炼成的
联系作者
文章来源:新智元
作者微信:
作者简介:
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...