AIGC动态欢迎阅读
原标题:改变LoRA的初始化方式,北大新方法PiSSA显著提升微调效果
关键字:模型,初始化,参数,分解,向量
文章来源:机器之心
内容字数:7932字
内容摘要:
机器之心专栏
机器之心编辑部随着大模型的参数量日益增长,微调整个模型的开销逐渐变得难以接受。
为此,北京大学的研究团队提出了一种名为 PiSSA 的参数高效微调方法,在主流数据集上都超过了目前广泛使用的 LoRA 的微调效果。论文: PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language Models
论文链接: https://arxiv.org/pdf/2404.02948.pdf
代码链接: https://github.com/GraphPKU/PiSSA
如图 1 所示,PiSSA (图 1c) 在模型架构上和 LoRA [1] 完全一致 (图 1b),只是初始化 Adapter 的方式不同。LoRA 使用高斯噪声初始化 A,使用 0 初始化 B。而 PiSSA 使用主奇异值和奇异向量 (Principal Singular values and Singular vectors) 来初始化 Adapter 来初始化 A 和 B。图 1)从左到右依次为全参数微调、Lo
原文链接:改变LoRA的初始化方式,北大新方法PiSSA显著提升微调效果
联系作者
文章来源:机器之心
作者微信:almosthuman2014
作者简介:专业的人工智能媒体和产业服务平台
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...