1890美元，就能从头训练一个还不错的12亿参数扩散模型

AIGC动态欢迎阅读

原标题：1890美元，就能从头训练一个还不错的12亿参数扩散模型
关键字：掩蔽,模型,作者,成本,方法
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
编辑：张倩、陈陈只用1890美元、3700 万张图像，就能训练一个还不错的扩散模型。现阶段，视觉生成模型擅长创建逼真的视觉内容，然而从头开始训练这些模型的成本和工作量仍然很高。比如 Stable Diffusion 2.1 花费了 200000 个 A100 GPU 小时。即使研究者使用最先进的方法，也需要在 8×H100 GPU 上训练一个多月的时间。
此外，训练大模型也对数据集提出了挑战，这些数据基本以亿为单位，同样给训练模型带来挑战。
高昂的训练成本和对数据集的要求为大规模扩散模型的开发造成了难以逾越的障碍。
现在，来自 Sony AI 等机构的研究者仅仅花了 1890 美元，就训练了一个不错的扩散模型， 具有 11.6 亿参数的稀疏 transformer。论文地址：https://arxiv.org/pdf/2407.15811
论文标题：Stretching Each Dollar: Diffusion Training from Scratch on a Micro-Budget
项目（即将发布）：https://github.com/SonyResearc

原文链接：1890美元，就能从头训练一个还不错的12亿参数扩散模型

联系作者

文章来源：机器之心
作者微信：
作者简介：