从问题到解法！对于大模型RAG技术的一些复盘思考

AIGC动态欢迎阅读

原标题：从问题到解法！对于大模型RAG技术的一些复盘思考
关键字：向量,模型,文本,用户,语义
文章来源：算法邦
内容字数：6670字

内容摘要：

智猩猩和智东西发起主办的2024中国生成式AI大会将于4月18-19日在北京举办。主会场将进行开幕式、大模型专场、AI Infra专场和AIGC应用专场；分会场将进行具身智能技术研讨会、AI智能体技术研讨会和中国智算中心创新论坛。扫码报名，也可咨询。最近在公司完成了一个内部知识问答应用，实现流程很简单，实际上就是Langchain那一套：
对文档进行切片
将切片后的文本块转变为向量形式存储至向量库中
用户问题转换为向量
匹配用户问题向量和向量库中各文本块向量的相关度
将最相关的Top 5文本块和问题拼接起来，形成Prompt输入给大模型
将大模型的答案返回给用户
具体可以参考下图，这个流程的打通其实特别容易，基本上1天就能把架子搭起来，然后开发好了API对外服务。并且在尝试了几个通用的文档后，觉得效果也不错。
但是，当公司内部真实文档导入之后，效果急转直下。
当时初步分析，有以下几个原因：
1. 文档种类多
有doc、ppt、excel、pdf，pdf也有扫描版和文字版。
doc类的文档相对来说还比较容易处理，毕竟大部分内容是文字，信息密度较高。但是也有少量图文混排的情况。
Excel

原文链接：从问题到解法！对于大模型RAG技术的一些复盘思考

联系作者

文章来源：算法邦
作者微信：allplusai
作者简介：智猩猩矩阵账号之一，连接AI新青年，讲解研究成果，分享系统思考。