LLaMA微调显存需求减半，清华提出4比特优化器

AIGC动态欢迎阅读

原标题：LLaMA微调显存需求减半，清华提出4比特优化器

关键字：张量,状态,显存,精度,模型

文章来源：机器之心

内容字数：8553字

内容摘要：机器之心专栏作者：李炳睿大模型的训练和微调对显存要求很高，优化器状态是显存主要开销之一。近日，清华大学朱军、陈键飞团队提出了用于神经网络训练的 4 比特优化器，节省了模型训练的内存开销，同时能达到与全精度优化器相当的准确率。4 比特优化器在众多预训练和微调任务上进行了实验，在保持准确率无损的情况下可将微调 LLaMA-7B 的显存开销降低多达 57%。论文：https://arxiv.org/ab…

原文链接：点此阅读原文：LLaMA微调显存需求减半，清华提出4比特优化器

联系作者

文章来源：机器之心

作者微信：almosthuman2014

作者简介：专业的人工智能媒体和产业服务平台