DeepMind研究成本大起底,一篇ICML论文烧掉1290万美元

AIGC动态3个月前发布 新智元
6 0 0

DeepMind研究成本大起底,一篇ICML论文烧掉1290万美元

AIGC动态欢迎阅读

原标题:DeepMind研究成本大起底,一篇ICML论文烧掉1290万美元
关键字:参数,论文,成本,模型,架构
文章来源:新智元
内容字数:0字

内容摘要:


新智元报道编辑:乔杨
【新智元导读】DeepMind最近被ICML 2024接收的一篇论文,完完全全暴露了他们背靠谷歌的「豪横」。一篇文章预估了这项研究所需的算力和成本,大概是Llama 3预训练的15%,耗费资金可达12.9M美元。发一篇顶会论文,需要多少实验预算?最近,DeepMind发表了一项研究,对LLM扩大规模时各种算法和架构细节,比如参数和优化器的选择,进行了广泛的实证调查。
这篇论文已被ICML 2024接收。
论文地址:https://arxiv.org/abs/2407.05872
63页的论文涵盖了数以万计的模型,备选方案包括3种优化器、4种参数化方案、几种对齐假设、十多个学习率,以及最高达26.8B的14种参数规模。
需要进行实验的4种参数化方案
仅仅听到这些数字,就不难知道,这项研究必定涉及海量的模型运行实验。
而有一位忠实读者,为了测试自己对论文内容的理解,统计了其中进行的所有实验,并估算出了复现论文的成本。
将所需算力全部加在一起,林林总总,居然达到了惊人的1290万美元。
考验基本功的时刻到了,假如你是研究团队的leader,根据实验计划对所需算力和成本


原文链接:DeepMind研究成本大起底,一篇ICML论文烧掉1290万美元

联系作者

文章来源:新智元
作者微信:
作者简介:

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...