利用公开知识定向提升大模型,腾讯优图&上交大提出新方法,性能达SOTA

AIGC动态2个月前发布 量子位
11 0 0

利用公开知识定向提升大模型,腾讯优图&上交大提出新方法,性能达SOTA

AIGC动态欢迎阅读

原标题:利用公开知识定向提升大模型腾讯优图&上交大提出新方法,性能达SOTA
关键字:模型,数据,任务,腾讯,性能
文章来源:量子位
内容字数:0字

内容摘要:


优图实验室 投稿量子位 | 公众号 QbitAI告别传统指令微调,大模型特定任务性能提升有新方法了。
一种新型开源增强知识框架,可以从公开数据中自动提取相关知识,针对性提升任务性能。
与基线和SOTA方法对比,本文方法在各项任务上均取得了更好的性能。
该方法由上海交通大学和腾讯优图实验室共同提出。
研究背景近年来,LLMs 在众多任务和领域取得了显著发展,但为了在实际业务场景发挥模型的专业能力,通常需要在领域特定或任务特定的数据上进行指令微调。传统的指令微调往往需要大量的有标注数据和计算资源,对于实际业务场景这是很难获得的。
另一方面,开源社区提供了大量的微调模型和指令数据集。这些开源知识的存在使得在特定任务上LLM在特定领域上的适配和应用成为了可能。但是,使用开源的各类SFT模型以及任务相关的数据集时,仍有以下关键问题需要解决:
少量有标注样本场景下,直接对模型微调或进行in-context-learning的效果往往不能满足需求,如何利用这些少量的样本和海量的外部知识(开源世界的模型,数据)对目前已有的知识进行补充,提升模型的任务能力和泛化性能?
开源社区中有大量微调且对齐的模型和


原文链接:利用公开知识定向提升大模型,腾讯优图&上交大提出新方法,性能达SOTA

联系作者

文章来源:量子位
作者微信:
作者简介:

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...