不是大模型全局微调不起，只是LoRA更有性价比，教程已经准备好了

AIGC动态欢迎阅读

原标题：不是大模型全局微调不起，只是LoRA更有性价比，教程已经准备好了

关键字：模型,权重,参数,矩阵,内存

文章来源：机器之心

内容字数：15621字

内容摘要：选自 Sebastian Raschka 博客机器之心编译编辑：佳琪这是作者 Sebastian Raschka 经过数百次实验得出的经验，值得一读。增加数据量和模型的参数量是公认的提升神经网络性能最直接的方法。目前主流的大模型的参数量已扩展至千亿级别，「大模型」越来越大的趋势还将愈演愈烈。这种趋势带来了多方面的算力挑战。想要微调参数量达千亿级别的大语言模型，不仅训练时间长，还需占用大量高性能的内存资源。为了让大模型微调的成本「打下来」，微软的研究人员开发了低秩自适应（LoRA）技术。LoRA 的精妙之处在于，它相当于在原有大模型的基础上增加了一个可拆卸的插件，模型主体保持不变。LoRA 随插随用，轻巧方便。对于高效微调出一个定制版的大语言模型来说，LoRA 是最为广泛运用的方法之一，同时也是最有效的方法之一。如果你对开源 LLM 感兴趣，LoRA 是值得学习的基本技术，不容错过。来自威斯…

原文链接：点此阅读原文：不是大模型全局微调不起，只是LoRA更有性价比，教程已经准备好了

联系作者

文章来源：机器之心

作者微信：almosthuman2014

作者简介：专业的人工智能媒体和产业服务平台