像调一样调制多技能大模型，智源等机构发布LM-Cocktail模型治理策略

AIGC动态欢迎阅读

原标题：像调一样调制多技能大模型，智源等机构发布LM-Cocktail模型治理策略

关键字：模型,任务,报告,目标,准确度

文章来源：机器之心

内容字数：4663字

内容摘要：机器之心专栏机器之心编辑部随着大模型技术的发展与落地，「模型治理」已经成为了目前受到重点关注的命题。只不过，在实践中，研究者往往感受到多重挑战。一方面，为了高其在目标任务的性能表现，研究者会收集和构建目标任务数据集并对大语言模型（LLM）进行微调，但这种方式通常会导致除目标任务以外的一般任务的性能明显下降，损害 LLM 原本具备的通用能力。另一方面，开源社区的模型逐渐增多，大模型开发者也可能在多次训练中累计了越来越多的模型，每个模型都具有各自的优势，如何选择合适的模型执行任务或进一步微调反而成为一个问题。近日，智源研究院信息检索与知识计算组发布 LM-Cocktail 模型治理策略，旨在为大模型开发者提供一个低成本持续提升模型性能的方式：通过少量样例计算融合权重，借助模型融合技术融合微调模型和原模型的优势，实现「模型资源」的高效利用。技术报告：https://arxiv.org/abs/2…

原文链接：点此阅读原文：像调一样调制多技能大模型，智源等机构发布LM-Cocktail模型治理策略

联系作者

文章来源：机器之心

作者微信：almosthuman2014

作者简介：专业的人工智能媒体和产业服务平台