Instella

Instella – AMD开源的30亿参数系列语言模型

Instella是什么

Instella是由AMD推出的一款开源语言模型，拥有30亿个参数。该模型完全依托于AMD Instinct™ MI300X GPU进行从零开始的训练，采用自回归Transformer架构，设有36个解码器层和32个注意力头，能够处理最长达4096个标记的序列。Instella经过多阶段的训练流程，包括大规模的预训练、监督微调和偏好优化，显著提升了其在自然语言理解、指令执行及对话能力等方面的表现。在多个基准测试中，Instella的表现超越了现有的开源模型，与最顶尖的开源权重模型相媲美。AMD全方位开源了Instella的模型权重、训练配置、数据集和代码，旨在推动AI社区的合作与创新。

Instella的主要功能

• 自然语言理解：能够理解复杂的自然语言文本，处理多种语言任务，如问答、文本生成及语义分析。
• 指令跟随：通过监督微调（SFT）及直接偏好优化（DPO），准确理解并执行用户指令，生成符合人类需求的回答。
• 多轮对话能力：支持多轮交互，能够根据上下文维持连贯的对话。
• 问题解决能力：在数学、逻辑推理和知识问答等任务中表现优秀。
• 多领域适应性：凭借多样化的训练数据，适应学术、编程、数学及日常对话等多个领域。

Instella的技术原理

• Transformer架构：基于自回归Transformer架构，包含36个解码器层，每层拥有32个注意力头，可处理最长4096个标记的序列。
• 高效训练技术：采用FlashAttention-2、Torch Compile和bfloat16混合精度训练，优化了内存使用及计算效率。
• 多阶段训练：使用4.065万亿标记进行大规模预训练，建立基础语言理解能力。在此基础上，进一步训练使用了额外的575.75亿标记，以增强特定任务的能力。
• 监督微调（SFT）：利用高质量的指令-响应对数据进行微调，提高指令跟随能力。
• 直接偏好优化（DPO）：通过人类偏好的数据对模型进行优化，确保输出更符合人类的价值观。
• 分布式训练：采用完全分片数据并行（FSDP）技术，将模型参数、梯度和优化器状态在节点内分片，并在节点间进行复制，实现大规模集群训练。
• 数据集：基于多样化的高质量数据集进行训练，包括学术、编程、数学和对话数据，确保模型具备广泛的知识和能力。

Instella的项目地址

• 项目官网：https://rocm.blogs.amd.com/artificial-intelligence/introducing-instella
• GitHub仓库：https://github.com/AMD-AIG-AIMA/Instella
• HuggingFace模型库：https://huggingface.co/collections/amd/instella

Instella的应用场景

• 智能客服：自动回答客户提问，提供个性化服务，提升客户体验。
• 内容创作：生成文案、故事等，帮助内容创作者提高工作效率。
• 教育辅导：解答学术问题，提供学习建议，支持学生学习。
• 编程辅助：生成代码片段，提供编程建议，帮助开发者解决问题。
• 企业知识管理：整合企业内部知识，提供咨询服务，提升协作效率。

常见问题

• Instella的开源性质是什么？Instella完全开源，提供模型权重、训练配置和数据集，促进社区合作。
• Instella的训练数据来源是什么？该模型使用多样化的高质量数据集进行训练，涵盖学术、编程、数学和对话等多个领域。
• Instella适合哪些应用场景？Instella广泛适用于智能客服、内容创作、教育辅导、编程辅助等各种场景。
• 如何获取Instella的代码和模型？可以通过项目官网、GitHub仓库及HuggingFace模型库获取相关资源。