改变LoRA的初始化方式，北大新方法PiSSA显著提升微调效果

AIGC动态欢迎阅读

原标题：改变LoRA的初始化方式，北大新方法PiSSA显著提升微调效果
关键字：模型,初始化,参数,分解,向量
文章来源：机器之心
内容字数：7932字

内容摘要：

机器之心专栏
机器之心编辑部随着大模型的参数量日益增长，微调整个模型的开销逐渐变得难以接受。
为此，北京大学的研究团队提出了一种名为 PiSSA 的参数高效微调方法，在主流数据集上都超过了目前广泛使用的 LoRA 的微调效果。论文: PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language Models
论文链接: https://arxiv.org/pdf/2404.02948.pdf
代码链接: https://github.com/GraphPKU/PiSSA
如图 1 所示，PiSSA (图 1c) 在模型架构上和 LoRA [1] 完全一致 (图 1b)，只是初始化 Adapter 的方式不同。LoRA 使用高斯噪声初始化 A，使用 0 初始化 B。而 PiSSA 使用主奇异值和奇异向量 (Principal Singular values and Singular vectors) 来初始化 Adapter 来初始化 A 和 B。图 1）从左到右依次为全参数微调、Lo

原文链接：改变LoRA的初始化方式，北大新方法PiSSA显著提升微调效果