改变LoRA的初始化方式,北大新方法PiSSA显著提升微调效果

改变LoRA的初始化方式,北大新方法PiSSA显著提升微调效果

AIGC动态欢迎阅读

原标题:改变LoRA的初始化方式,北大新方法PiSSA显著提升微调效果
关键字:模型,初始化,参数,分解,向量
文章来源:机器之心
内容字数:7932字

内容摘要:


机器之心专栏
机器之心编辑部随着大模型的参数量日益增长,微调整个模型的开销逐渐变得难以接受。
为此,北京大学的研究团队提出了一种名为 PiSSA 的参数高效微调方法,在主流数据集上都超过了目前广泛使用的 LoRA 的微调效果。论文: PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language Models
论文链接: https://arxiv.org/pdf/2404.02948.pdf
代码链接: https://github.com/GraphPKU/PiSSA
如图 1 所示,PiSSA (图 1c) 在模型架构上和 LoRA [1] 完全一致 (图 1b),只是初始化 Adapter 的方式不同。LoRA 使用高斯噪声初始化 A,使用 0 初始化 B。而 PiSSA 使用主奇异值和奇异向量 (Principal Singular values and Singular vectors) 来初始化 Adapter 来初始化 A 和 B。图 1)从左到右依次为全参数微调、Lo


原文链接:改变LoRA的初始化方式,北大新方法PiSSA显著提升微调效果

联系作者

文章来源:机器之心
作者微信:almosthuman2014
作者简介:专业的人工智能媒体和产业服务平台

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...