百川智能RAG方案总结：搜索出生的百川智能大模型RAG爬坑之路

AIGC动态欢迎阅读

原标题：百川智能RAG方案总结：搜索出生的百川智能大模型RAG爬坑之路
关键字：模型,解读,问题,向量,方法
文章来源：算法邦
内容字数：5489字

内容摘要：

直播预告 | 1月17日晚7点，「多模态大模型线上闭门会」正式开讲！阿里巴巴通义实验室 NLP 高级算法专家严明参与出品，携手刘兆洋、李彦玮、文束三位青年学者，共同探讨多模态大模型的发展与应用，欢迎报名。今天对百川的RAG方法进行解读，百川智能具有深厚的搜索背景，来看看他们是怎么爬RAG的坑的吧～
总的来说，百川通过长上下文模型(192k)+搜索增强结合的方法来解决知识更新，降低模型幻觉的问题，使得其在5000万tokens的数据集中取得95%的精度。其主要在以下几个方面做优化：
1) Query拓展：这是我自己取的名字，可能不太准确，其主要参考Meta的CoVe[1]以及百川自研的Think Step-Further方法对原始用户输入的复杂问题进行拆解、拓展，挖掘用户更深层次的子问题，借助子问题检索效果更高的特点来解决复杂问题检索质量偏差的问题。
2) 优化检索链路：采用稀疏检索+向量检索+Rerank结合的方法，来提高检索的召回率和准确率。并且其自研的Baichuan-Text-Embedding向量模型也登顶了C-MTEB语义向量评测标准。
3) 自我反省机制：百川智能通过sel

原文链接：百川智能RAG方案总结：搜索出生的百川智能大模型RAG爬坑之路

联系作者

文章来源：算法邦
作者微信：allplusai
作者简介：「算法邦」，隶属于智猩猩，关注大模型、生成式AI、计算机视觉三大领域的研究与开发，提供技术文章、讲座、在线研讨会。