RAG-FiT

RAG-FiT – 英特尔实验室推出用于开发、增强大模型的开源RAG框架

RAG-FiT是什么

RAG-FiT（前称RAG Foundry）是英特尔实验室推出的开源框架，旨在通过微调（fine-tuning）来提升大型语言模型（LLMs）在检索增强生成（RAG）任务中的表现。该框架采用模块化设计，涵盖数据创建、训练、推理和评估四大核心功能模块。RAG-FiT的目标是帮助用户快速构建适用于RAG任务的数据集，运用参数高效微调（PEFT）技术优化模型，并通过多种RAG特定的评估指标来衡量模型表现。凭借其卓越的灵活性和扩展性，RAG-FiT支持从数据选择、过滤到检索和提示生成等一系列RAG应用，适用于问答系统、文本生成等多种场景。

RAG-FiT的主要功能

• 数据创建与处理：
  • 数据加载：可从Hugging Face Hub或本地源获取数据集。
  • 数据预处理：涵盖数据过滤、归一化、聚合、信息检索、模板化提示生成等处理步骤。
  • 数据保存：处理后的数据以一致性格式保存，便于后续的训练与推理使用。
  • 灵活的处理流程：支持全局和局部操作，提供灵活的数据处理选择。
• 训练：
  • 参数高效微调（PEFT）：采用LoRA等技术进行高效微调。
  • 训练配置：支持自定义的学习率、优化器及批量大小等训练参数设置。
  • 模型推送：训练完成后，模型可便捷推送至Hugging Face Hub。
• 推理：
  • 生成预测：基于处理过的数据集生成预测结果。
  • 批量推理：支持对多个输入进行批量处理，提升运算效率。
• 评估：
  • 多维度评估：支持多种评估指标，如EM、F1、ROUGE、BERTScore等。
  • 自定义评估：用户可轻松实现个性化评估指标。
  • 全局与局部评估：支持对单个样本及整个数据集进行评估。

RAG-FiT的技术原理

• 检索增强：
  • 检索机制：通过检索工具从外部知识库中获取与输入问题相关的上下文信息，支持多种检索系统（如Haystack、Qdrant）。
  • 上下文注入：将检索到的上下文信息整合到LLMs的输入中，从而帮助模型更好地理解问题背景，生成更准确的回答。
• 模块化设计：
  • 数据处理模块：负责数据的加载、预处理和保存，支持多种数据源。
  • 训练模块：利用PEFT技术对模型进行微调，支持LoRA等高效训练方式，训练后的模型可保存或推送到Hugging Face Hub。
  • 推理模块：在处理后的数据集上生成预测结果，并支持批量推理。
  • 评估模块：提供丰富的评估指标，支持对生成结果的全面评估。
• 配置驱动的工作流：
  • Hydra配置工具：使用Hydra配置工具实现层次化配置，方便通过命令行覆盖配置值，适合远程作业运行。
  • 配置文件：每个模块都有默认配置文件，用户可基于此文件或命令行参数自定义工作流。
• 实验与评估：
  • 实验环境：提供一个全面的实验环境，支持快速原型开发以及多种RAG技术的实验。
  • 多维度评估：评估模块不仅能够评估生成结果的准确性，还能评判检索结果的相关性和生成内容的忠实性与相关性。

RAG-FiT的项目地址

• 项目官网：https://intellabs.github.io/RAG-FiT/
• GitHub仓库：https://github.com/IntelLabs/RAG-FiT
• arXiv技术论文：https://arxiv.org/pdf/2408.02545

RAG-FiT的应用场景

• 问答系统：通过检索外部知识库来增强语言模型，为用户提供准确且相关的答案，尤其在医学、法律等领域表现突出。
• 文本生成：结合最新的背景信息生成高质量文本，如新闻报道和创意写作，提升内容的准确性和时效性。
• 知识图谱增强：从知识图谱中检索实体和关系，生成与图谱一致的文本，从而提高知识表示的准确性和可解释性。
• 多语言生成：跨语言检索知识库以生成多语言文本，满足多语言环境下的内容生成需求。
• 文档摘要：检索文档中的关键信息以生成摘要，提高摘要的准确性和信息覆盖率，适用于科研和商业领域。