参数更新量仅为LoRA的5%，性能不减反升！南加大提出高效精调法LaMDA

AIGC动态欢迎阅读

原标题：参数更新量仅为LoRA的5%，性能不减反升！南加大提出高效精调法LaMDA
关键字：参数,模型,任务,性能,数量
文章来源：夕小瑶科技说
内容字数：0字

内容摘要：

夕小瑶科技说 原创作者 | Axe_越万物负阴而抱阳，冲气以为和
——《道德经·第四十二章》
从Bert时代一路过来的朋友们应该还记得，对于仅仅只有1亿参数的Bert，在特定任务上做一个全参数微调（Full Parameter Fine-tuning，FPFT），那简直是再正常不过的操作。即使想不开要对Bert重新做个预训练（Pretraining），也无碍乎是“几张卡+几天”的事情，根本无伤大雅。
随着模型参数规模逐渐从1亿扩大到现在的百亿、千亿，全参数微调，哪怕是LoRA等仅更新部分参数的参数高效微调方法（Parameter Efficient Fine-Tuning，PEFT）也已经变成了一种奢侈的事情，因此我们开始转入对“尽可能影响更少的参数、让模型变得更快、资源消耗变得更低”的“小型化”追求。
今天要介绍的这篇文章，在LoRA的基础上，把模型训练时的参数更新量进一步缩小了将近20倍！不但如此，甚至还获得了相对更好的表现。这对我们众多资源匮乏党来说，无疑是一个巨大惊喜，就让我们来看看，它到底是怎么做到的！
论文标题:LaMDA: Large Model Fine-Tuning

原文链接：参数更新量仅为LoRA的5%，性能不减反升！南加大提出高效精调法LaMDA

联系作者

文章来源：夕小瑶科技说
作者微信：xixiaoyaoQAQ
作者简介：专业、有趣、深度价值导向的科技媒体。聚集30万AI工程师、研究员，覆盖500多家海内外机构投资人，互联网大厂中高管和AI公司创始人。一线作者来自清北、国内外顶级AI实验室和大厂，兼备敏锐的行业嗅觉和洞察深度。商务合作：zym5189