Llama 4训练已开启!Meta科学家最新采访,揭秘Llama 3.1是如何炼成的

AIGC动态3个月前发布 新智元
8 0 0

Llama 4训练已开启!Meta科学家最新采访,揭秘Llama 3.1是如何炼成的

AIGC动态欢迎阅读

原标题:Llama 4训练已开启!Meta科学家最新采访,揭秘Llama 3.1是如何炼成的
关键字:模型,基准,数据,论文,架构
文章来源:新智元
内容字数:0字

内容摘要:


新智元报道编辑:乔杨
【新智元导读】最近,Latent Space发布的播客节目中请来了Meta的AI科学家Thomas Scialom。他在节目中揭秘了Llama 3.1的一些研发思路,并透露了后续Llama 4的更新方向。刚刚发布的开源「巨无霸」Llama 3.1虽然自带论文,但依旧激起了广大网友强烈的好奇心和求知欲。
Llama 3.1都使用了哪些数据?其中有多少合成数据?为什么不使用MoE架构?
后训练与RLHF流程是如何进行的?模型评估是如何进行的?
我们什么时候可以见到Llama 4?Meta是否会发展agent?
恰逢Llama 3.1刚刚发布,Meta科学家就现身播客节目Latent Space,秉持着开源分享的精神,对以上问题都作出了清晰的回答。
受访者Thomas Scialom现任Meta的人工智能研究科学家,领导了Llama 2和Llama 3的后训练,并参加了CodeLlama、Toolformer、Bloom、GAIA等多个项目。
以下是采访内容的节选。
Llama 3.1研发思路如何决定参数规模其实LLM的参数规模的选择需要考虑多种因素,包括scalin


原文链接:Llama 4训练已开启!Meta科学家最新采访,揭秘Llama 3.1是如何炼成的

联系作者

文章来源:新智元
作者微信:
作者简介:

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...