ICML 2024 | 脱离LoRA架构，训练参数大幅减少，新型傅立叶微调来了

AIGC动态欢迎阅读

原标题：ICML 2024 | 脱离LoRA架构，训练参数大幅减少，新型傅立叶微调来了
关键字：傅立叶,自然语言,模型,方法,参数
文章来源：机器之心
内容字数：4289字

内容摘要：

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文介绍了香港科技大学（广州）的一篇关于大模型高效微调（LLM PEFT Fine-tuning）的文章「Parameter-Efficient Fine-Tuning with Discrete Fourier Transform」，本文被 ICML 2024 接收，代码已开源。论文地址：https://arxiv.org/abs/2405.03003
项目地址：https://github.com/Chaos96/fourierft
背景
大型基座模型在自然语言处理（NLP）和计算机视觉（CV）领域都获得了瞩目的成就。微调（Finetuning）大型基座模型，使其更加适应特殊的下游任务，成为了一项热门研究课题。然而，在模型越来越大，下游任务越来越多样的今天

原文链接：ICML 2024 | 脱离LoRA架构，训练参数大幅减少，新型傅立叶微调来了