利用公开知识定向提升大模型，腾讯优图&上交大提出新方法，性能达SOTA

AIGC动态欢迎阅读

原标题：利用公开知识定向提升大模型，腾讯优图&上交大提出新方法，性能达SOTA
关键字：模型,数据,任务,腾讯,性能
文章来源：量子位
内容字数：0字

内容摘要：

优图实验室投稿量子位 | 公众号 QbitAI告别传统指令微调，大模型特定任务性能提升有新方法了。
一种新型开源增强知识框架，可以从公开数据中自动提取相关知识，针对性提升任务性能。
与基线和SOTA方法对比，本文方法在各项任务上均取得了更好的性能。
该方法由上海交通大学和腾讯优图实验室共同提出。
研究背景近年来，LLMs 在众多任务和领域取得了显著发展，但为了在实际业务场景发挥模型的专业能力，通常需要在领域特定或任务特定的数据上进行指令微调。传统的指令微调往往需要大量的有标注数据和计算资源，对于实际业务场景这是很难获得的。
另一方面，开源社区提供了大量的微调模型和指令数据集。这些开源知识的存在使得在特定任务上LLM在特定领域上的适配和应用成为了可能。但是，使用开源的各类SFT模型以及任务相关的数据集时，仍有以下关键问题需要解决：
少量有标注样本场景下，直接对模型微调或进行in-context-learning的效果往往不能满足需求，如何利用这些少量的样本和海量的外部知识（开源世界的模型，数据）对目前已有的知识进行补充，提升模型的任务能力和泛化性能？
开源社区中有大量微调且对齐的模型和

原文链接：利用公开知识定向提升大模型，腾讯优图&上交大提出新方法，性能达SOTA