DeepMind新方法：训练时间减少13倍，算力降低90%

AIGC动态欢迎阅读

原标题：DeepMind新方法：训练时间减少13倍，算力降低90%
关键字：数据,模型,团队,据点,视觉
文章来源：量子位
内容字数：0字

内容摘要：

一水发自凹非寺量子位 | 公众号 QbitAI大幅节省算力资源，又又又有新解了！！
DeepMind团队提出了一种新的数据筛选方法JEST——
将AI训练时间减少13倍，并将算力需求降低90%。
简单来说，JEST是一种用于联合选择最佳数据批次进行训练的方法。
它就像一个智能的图书管理员，在一大堆书（数据）中挑选出最适合当前读者（模型）阅读的几本书（数据批次）。
这样做可以让读者更快地学到知识（训练模型），还能节省时间（减少迭代次数）和精力（减少计算量）。
研究显示，JEST大幅加速了大规模多模态预训练，与之前的最先进水平（SigLIP）相比，迭代次数和浮点运算次数减少了10倍。
对于上述结果，有网友惊呼：
新研究将成为AI训练的游戏规则改变者！
还有人点出了关键：
对于担心人工智能需求过高的电网来说，这可能是个极好的消息！
那么，新方法究竟是如何运作的？接下来一起看团队成员相关揭秘。
揭秘新方法JEST首先，现有的大规模预训练数据筛选方法速度慢、成本高，并且没有考虑到批次组成或训练过程中数据相关性的变化，这限制了多模态学习中的效率提升。
因此，DeepMind团队研究了联合选择数

原文链接：DeepMind新方法：训练时间减少13倍，算力降低90%