哈工深提出基于联邦学习的大模型指令微调

AIGC动态欢迎阅读

原标题：哈工深提出基于联邦学习的大模型指令微调
关键字：数据,联邦,参数,模型,算法
文章来源：夕小瑶科技说
内容字数：7164字

内容摘要：

夕小瑶科技说原创作者 | 松果引言：面对数据匮乏与隐私挑战的联邦指令调整在当今大语言模型（LLMs）发展中，指令调整被证明对于生成与人类对齐的响应至关重要。然而，收集用于调整的多样化、高质量的指令数据面临挑战，尤其是在隐私敏感领域。联邦指令调整（FEDIT）作为一种解决方案，利用联邦学习从多个数据所有者那里进行学习，同时保护隐私。尽管如此，它仍面临着有限的指令数据和易受训练数据提取攻击的挑战。为了解决这些问题，研究者提出了一种新的联邦算法FEDPIT，该算法利用LLMs的上下文学习能力自主生成特定任务的合成数据进行训练。采用参数隔离训练，保持在合成数据上训练的全局参数和在增强本地数据上训练的本地参数，有效地阻止了数据提取攻击。在真实世界的医疗数据上进行的广泛实验表明，FEDPIT在提高联邦少数样本性能的同时，保护了隐私并对数据异质性表现出了鲁棒性。
论文标题：FEDPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning
论文链接：https://arxiv.org/pdf/2403.06131

原文链接：哈工深提出基于联邦学习的大模型指令微调