NeurIPS 2024 Oral | 小参数，大作为！揭秘非对称 LoRA 架构的高效性能

AIGC动态欢迎阅读

原标题：NeurIPS 2024 Oral | 小参数，大作为！揭秘非对称 LoRA 架构的高效性能
关键字：矩阵,任务,参数,领域,组件
文章来源：机器之心
内容字数：0字

内容摘要：

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com这篇论文刚刚中稿 NeurIPS Oral（64/15671 =0.4%），作者分别来自澳门大学、德克萨斯大学奥斯汀分校以及剑桥大学。其中，第一作者田春霖是澳门大学计算机系的三年级博士生，研究方向涉及 MLSys 和高效大语言模型。师从栗力、须成忠教授。
大型语言模型（LLMs）虽然在适应新任务方面取得了长足进步，但它们仍面临着巨大的计算资源消耗，尤其在复杂领域的表现往往不尽如人意。为了缓解这一问题，业界提出了多种参数高效微调（PEFT）方法，例如 LoRA。然而，LoRA 在面对复杂数据集时，总是难以与全参数微调的表现相媲美，尤其当任务之间充满多样性时，效果更是大打折扣。
为了突破这一瓶颈，来自澳门大学、德克萨斯大学奥斯汀分校以及剑桥大学的研究者联合提出了一

原文链接：NeurIPS 2024 Oral | 小参数，大作为！揭秘非对称 LoRA 架构的高效性能