AIGC动态欢迎阅读
原标题:DeepMind新方法:训练时间减少13倍,算力降低90%
关键字:数据,模型,团队,据点,视觉
文章来源:量子位
内容字数:0字
内容摘要:
一水 发自 凹非寺量子位 | 公众号 QbitAI大幅节省算力资源,又又又有新解了!!
DeepMind团队提出了一种新的数据筛选方法JEST——
将AI训练时间减少13倍,并将算力需求降低90%。
简单来说,JEST是一种用于联合选择最佳数据批次进行训练的方法。
它就像一个智能的图书管理员,在一大堆书(数据)中挑选出最适合当前读者(模型)阅读的几本书(数据批次)。
这样做可以让读者更快地学到知识(训练模型),还能节省时间(减少迭代次数)和精力(减少计算量)。
研究显示,JEST大幅加速了大规模多模态预训练,与之前的最先进水平(SigLIP)相比,迭代次数和浮点运算次数减少了10倍。
对于上述结果,有网友惊呼:
新研究将成为AI训练的游戏规则改变者!
还有人点出了关键:
对于担心人工智能需求过高的电网来说,这可能是个极好的消息!
那么,新方法究竟是如何运作的?接下来一起看团队成员相关揭秘。
揭秘新方法JEST首先,现有的大规模预训练数据筛选方法速度慢、成本高,并且没有考虑到批次组成或训练过程中数据相关性的变化,这限制了多模态学习中的效率提升。
因此,DeepMind团队研究了联合选择数
原文链接:DeepMind新方法:训练时间减少13倍,算力降低90%
联系作者
文章来源:量子位
作者微信:QbitAI
作者简介:追踪人工智能新趋势,关注科技行业新突破
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...