PaLM 2数学性能暴涨6%！DeepMind新作力证「合成数据」是通往AGI关键

AIGC动态欢迎阅读

原标题：PaLM 2数学性能暴涨6%！DeepMind新作力证「合成数据」是通往AGI关键

关键字：模型,数据,性能,研究人员,样本

文章来源：新智元

内容字数：4788字

内容摘要：新智元报道编辑：桃子【新智元导读】AI可以从自己生成的「合成数据」中学习，最重要的是，能够大幅提升数据问题解决和代码生成的能力。合成数据，或许就是大模型的未来。不久前Jim Fan就在推特上表示，合成数据将提供下一万亿个高质量的训练token。还有人认为，因为人类无法产生足够多的高质量数据，「合成数据」似乎是实现AGI的关键。现在看来，确实如此。谷歌DeepMind和Mila实验室的研究人员发现，「合成数据」能够让大模型数学问题解决，以及代码生成能力大幅提升。论文中，他们提出了一种全新的方法——，利用AI系统生成数据来自我训练。论文地址：https://arxiv.org/pdf/2312.06585.pdf在MATH高级推理和APPS编码基准测试中，使用PaLM-2模型进行测试后，发现与模型大小的扩展相称，并显著优于仅在人类数据上进行微调的模型。总而言之，利用反馈进行自我训练，可以大大减…

原文链接：点此阅读原文：PaLM 2数学性能暴涨6%！DeepMind新作力证「合成数据」是通往AGI关键

联系作者

文章来源：新智元

作者微信：AI_era

作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。