破解ChatGPT惊人耗电！DeepMind新算法训练提效13倍，能耗暴降10倍

AIGC动态欢迎阅读

原标题：破解ChatGPT惊人耗电！DeepMind新算法训练提效13倍，能耗暴降10倍
关键字：数据,模型,性能,方法,习性
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：桃子乔杨
【新智元导读】ChatGPT能耗惊人，该怎么解？谷歌DeepMind新算法JEST问世，让LLM训练的迭代次数降低13倍，计算量减少10倍，或将重塑AI未来。ChatGPT早已成为世界耗能大户：一天用掉超50万度电，相当于1.7万个美国家庭的用电量！
然而，大模型对能源的吞噬，远不仅如此。
国际能源署（IEA）预测，从2022年到2026年，数据中心的用电量将翻一番。
随着AI计算需求的膨胀，还需要用水来冷却计算系统。研究称，微软用水量从2021年到22年飙升了34%，ChatGPT每处理5-50个提示就会消耗接近半升水。
针对这种现状，我们有更好的解决策略吗？
最近，谷歌DeepMind研究团队提出了一种加快AI训练的新方法——多模态对比学习与联合示例选择（JEST），大大减少了所需的计算资源和时间。
JEST以13倍更少的迭代次数，以及10倍更少的计算量，超越了最先进的模型！
论文地址：https://arxiv.org/pdf/2406.17711
预训练的参考模型，已经学习了什么样的数据是有「优质的」或「有用的」。然后通过模型，来引导数据选择那些精心

原文链接：破解ChatGPT惊人耗电！DeepMind新算法训练提效13倍，能耗暴降10倍

联系作者

文章来源：新智元
作者微信：AI_era
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。