RAG微调Llama 3竟超越GPT-4！英伟达GaTech华人学者提出RankRAG框架

AIGC动态欢迎阅读

原标题：RAG微调Llama 3竟超越GPT-4！英伟达GaTech华人学者提出RankRAG框架
关键字：数据,模型,报告,上下文,性能
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：乔扬好困
【新智元导读】来自佐治亚理工学院和英伟达的两名华人学者带队提出了名为RankRAG的微调框架，简化了原本需要多个模型的复杂的RAG流水线，用微调的方法交给同一个LLM完成，结果同时实现了模型在RAG任务上的性能提升。在需要大量事实知识的文本生成任务中，RAG成为了常用的LLM部署技巧。
但佐治亚理工学院和英伟达最近发表的一篇论文提出——RAG可以不止停留在用于推理的pipeline中，类似的思路完全可以移植到微调阶段，于是有了这个名为RankRAG的框架。
论文地址：https://arxiv.org/abs/2407.02485
他们的思路可以概括为：用微调拓展模型的能力，把原来RAG需要额外模型的检索、排名任务全丢回给LLM自己。
结果发现，不仅数据效率提高了，模型性能也有显著增强，相比今年5月刚提出的ChatQA-1.5系列有显著优势。
在9个通用基准和5个生物医学的知识密集型基准上，RankRAG用Llama 3 8B/70B微调出的模型分别超过了同样基座上ChatQA-1.5的两个微调模型，Llama3-ChatQA-1.5-8B和Llama3-C

原文链接：RAG微调Llama 3竟超越GPT-4！英伟达GaTech华人学者提出RankRAG框架