RAG微调Llama 3竟超越GPT-4!英伟达GaTech华人学者提出RankRAG框架

AIGC动态4个月前发布 新智元
21 0 0

RAG微调Llama 3竟超越GPT-4!英伟达GaTech华人学者提出RankRAG框架

AIGC动态欢迎阅读

原标题:RAG微调Llama 3竟超越GPT-4!英伟达GaTech华人学者提出RankRAG框架
关键字:数据,模型,报告,上下文,性能
文章来源:新智元
内容字数:0字

内容摘要:


新智元报道编辑:乔扬好困
【新智元导读】来自佐治亚理工学院和英伟达的两名华人学者带队提出了名为RankRAG的微调框架,简化了原本需要多个模型的复杂的RAG流水线,用微调的方法交给同一个LLM完成,结果同时实现了模型在RAG任务上的性能提升。在需要大量事实知识的文本生成任务中,RAG成为了常用的LLM部署技巧。
但佐治亚理工学院和英伟达最近发表的一篇论文提出——RAG可以不止停留在用于推理的pipeline中,类似的思路完全可以移植到微调阶段,于是有了这个名为RankRAG的框架。
论文地址:https://arxiv.org/abs/2407.02485
他们的思路可以概括为:用微调拓展模型的能力,把原来RAG需要额外模型的检索、排名任务全丢回给LLM自己。
结果发现,不仅数据效率提高了,模型性能也有显著增强,相比今年5月刚提出的ChatQA-1.5系列有显著优势。
在9个通用基准和5个生物医学的知识密集型基准上,RankRAG用Llama 3 8B/70B微调出的模型分别超过了同样基座上ChatQA-1.5的两个微调模型,Llama3-ChatQA-1.5-8B和Llama3-C


原文链接:RAG微调Llama 3竟超越GPT-4!英伟达GaTech华人学者提出RankRAG框架

联系作者

文章来源:新智元
作者微信:AI_era
作者简介:智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...