小模型也能玩转RAG！性能仅降1%，存储省75%，边缘设备轻松跑

RAG应用门槛降至1.5B参数规模

原标题：小模型也能玩转RAG！性能仅降1%，存储省75%，边缘设备轻松跑
文章来源：量子位
内容字数：7229字

MiniRAG：轻量级检索增强生成系统，突破端侧AI应用瓶颈

近日，香港大学黄超教授团队提出MiniRAG，一种轻量级的检索增强生成（RAG）系统，成功将RAG技术的应用门槛降至1.5B参数规模，大幅降低了算力需求，为边缘计算设备和注重隐私的应用带来了新的可能性。

1. MiniRAG的核心突破

MiniRAG的核心在于其针对小型语言模型（SLMs）的优化设计。传统RAG系统过度依赖大型语言模型，而MiniRAG充分利用SLMs在模式识别和局部文本处理上的优势，并通过引入结构化信息和任务分解策略，弥补了SLMs在复杂认知任务上的不足。这使得MiniRAG能够在资源受限的边缘设备上高效运行，同时保证输出质量。

2. 核心技术创新

MiniRAG的两项核心技术创新是：异构图索引和轻量级知识检索。异构图索引优化了信息组织结构，提升了检索精确度；轻量级知识检索确保了高效准确的信息获取。MiniRAG还构建了一套全新的语义感知框架，将离散文本信息与结构化实体知识融为一体，实现检索效率的显著提升。

3. 轻量级知识检索架构

MiniRAG的轻量级知识检索架构包含两个关键设计：查询语义映射和拓扑增强检索。查询语义映射采用精简的语义分析流程，快速提取关键信息；拓扑增强检索则先快速定位核心信息点，再通过异质图结构化关联分析扩展相关内容，兼顾速度和准确性。

4. LiHua-World评测数据集

为了更准确地评估MiniRAG的实际表现，研究团队开发了LiHua-World数据集。该数据集模拟了普通用户在移动设备上的信息记录，涵盖了多种应用场景，为端侧RAG技术的发展提供了可靠的实验基准。

5. 性能评估结果

实验结果显示，MiniRAG在迁移至小型语言模型后，性能下降幅度远小于其他主流RAG系统（LightRAG和GraphRAG）。MiniRAG在存储空间方面也具有显著优势，仅需原有系统的25%。消融实验进一步验证了异构图索引和轻量级检索机制的有效性。

6. 实际案例分析

一个复杂的餐厅识别案例展示了MiniRAG在处理多维度信息检索方面的出色表现。MiniRAG通过其独特的查询引导推理路径发现机制，成功解决了小型语言模型在复杂查询解析方面的局限性。

7. 结论

MiniRAG是一款轻量级、高效、注重隐私的检索增强生成系统，为边缘设备上的RAG应用开辟了新的道路。其在小型语言模型上的出色表现，以及LiHua-World数据集的发布，都为端侧AI技术的发展做出了重要贡献。

联系作者

文章来源：量子位
作者微信：
作者简介：追踪人工智能新趋势，关注科技行业新突破