UCL博士生创业一年,造出最强AI「ML工程师」,OpenAI盖戳认证

UCL博士生创业一年,造出最强AI「ML工程师」,OpenAI盖戳认证

AIGC动态欢迎阅读

原标题:UCL博士生创业一年,造出最强AI「ML工程师」,OpenAI盖戳认证
关键字:报告,模型,解读,任务,框架
文章来源:机器之心
内容字数:0字

内容摘要:


机器之心原创
作者:微胖重要的事说三遍:Agent 框架很重要。一、被忽略的「Agent 框架」
OpenAI 最近又有了新动作,这次他们的野心更大了。
鉴于大型语言模型( LLM )强大的先验知识和行动/反应能力,让 AI 训练 AI ,可还行?
几个顶级大模型在机器学习自动化工程上的表现如何?
人类距离 OpenAI AGI 路线图上的 Level 3( Agents )还有多远?
怀揣这些问题,OpenAI 自行推出了一个新基准测试—— MLE-bench ,严选 75 个与机器学习工程( MLE )相关的 Kaggle 竞赛题目。毕竟,目前「很少有基准测试能够全面衡量自主的端到端机器学习工程」。
结果发现,GPT-4o 结合 AIDE 框架平均获得奖牌数量,明显优于另外两个开源 Agent 框架。
更令人惊讶的是,当模型切换到 OpenAI o1-preview(据称,突破了 LLM 推理极限)后,其表现又翻了一倍:
在大约 16.9% 的比赛中达到了相当于 Kaggle 铜牌以上的水平,奖牌数量也一骑绝尘。
而且,8 次尝试后,o1-preview 的得分从单次尝试的 16.


原文链接:UCL博士生创业一年,造出最强AI「ML工程师」,OpenAI盖戳认证

联系作者

文章来源:机器之心
作者微信:
作者简介:

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...