FlagAI – 飞智

FlagAI飞智：AI基础模型开源项目，支持一键调用OPT等模型

一 背景

GPT-3、OPT系列、悟道等预训练模型在NLP领域取得了非常瞩目的效果，但是不同代码仓库有着不同实现风格，并且在预训练大模型过程中使用的技术也各不相同，造成了技术鸿沟。为了快速加载、训练、推理不同大模型，使用最新最快的模型并行技术以及提高用户训练和使用模型的便捷性，北京智源人工智能研究院推出了FlagAI（飞智）基础模型开源项目，为一键调大模型等功能提供支持。

二 FlagAI特点

FlagAI飞智是一个快速、易于使用和可扩展的AI基础模型工具包。 支持一键调用多种主流基础模型，同时适配了中英文多种下游任务。

• FlagAI支持最高百亿参数的悟道GLM(详见GLM介绍)，同时也支持BERT、RoBERTa、GPT2、T5 模型、Meta OPT模型和 Huggingface Transformers 的模型。
• FlagAI提供 API 以快速下载并在给定（中/英文）文本上使用这些预训练模型，你可以在自己的数据集上对其进行微调(fine-tuning)或者应用提示学习(prompt-tuning)。
• FlagAI提供丰富的基础模型下游任务支持，例如文本分类、信息提取、问答、摘要、文本生成等，对中英文都有很好的支持。
• FlagAI由三个最流行的数据/模型并行库（PyTorch/Deepspeed/Megatron-LM）提供支持，它们之间实现了无缝集成。 在FlagAI上，你可以用不到十行代码来并行你的训练、测试过程，也可以方便的使用各种模型提速技巧。

开源项目地址：FlagAI-Open/FlagAI: FlagAI (Fast LArge-scale General AI models) is a fast, easy-to-use and extensible toolkit for large-scale model. (github.com)