DeepMind研究成本大起底，一篇ICML论文烧掉1290万美元

AIGC动态欢迎阅读

原标题：DeepMind研究成本大起底，一篇ICML论文烧掉1290万美元
关键字：参数,论文,成本,模型,架构
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：乔杨
【新智元导读】DeepMind最近被ICML 2024接收的一篇论文，完完全全暴露了他们背靠谷歌的「豪横」。一篇文章预估了这项研究所需的算力和成本，大概是Llama 3预训练的15%，耗费资金可达12.9M美元。发一篇顶会论文，需要多少实验预算？最近，DeepMind发表了一项研究，对LLM扩大规模时各种算法和架构细节，比如参数和优化器的选择，进行了广泛的实证调查。
这篇论文已被ICML 2024接收。
论文地址：https://arxiv.org/abs/2407.05872
63页的论文涵盖了数以万计的模型，备选方案包括3种优化器、4种参数化方案、几种对齐假设、十多个学习率，以及最高达26.8B的14种参数规模。
需要进行实验的4种参数化方案
仅仅听到这些数字，就不难知道，这项研究必定涉及海量的模型运行实验。
而有一位忠实读者，为了测试自己对论文内容的理解，统计了其中进行的所有实验，并估算出了复现论文的成本。
将所需算力全部加在一起，林林总总，居然达到了惊人的1290万美元。
考验基本功的时刻到了，假如你是研究团队的leader，根据实验计划对所需算力和成本

原文链接：DeepMind研究成本大起底，一篇ICML论文烧掉1290万美元