Granite 4.0 Tiny Preview

Granite 4.0 Tiny Preview – IBM推出的语言模型

Granite 4.0 Tiny Preview 是 IBM 推出的 Granite 4.0 语言模型系列中最小的一款预览版本。该模型以其卓越的计算效率和紧凑的结构而闻名，使其能够在消费级 GPU 上高效运行多个长上下文任务（128K），其性能与 Granite 3.3 2B Instruct 相当，同时内存需求减少约 72%。

Granite 4.0 Tiny Preview是什么

Granite 4.0 Tiny Preview 是 IBM 最新推出的一款语言模型，属于 Granite 4.0 系列中的迷你版本。该模型以其高效的计算能力和小巧的设计而受到关注，能够在消费级 GPU 上高效地处理多个长达 128K 的上下文任务，性能与 Granite 3.3 2B Instruct 相近，同时内存需求降低了约 72%。此模型采用创新的混合 Mamba-2/Transformer 架构，结合了 Mamba 的高效性与 Transformer 的精确性，并且支持无位置编码（NoPE），能够轻松应对极长的上下文长度。

Granite 4.0 Tiny Preview的主要功能

高效运行：该模型能够在消费级 GPU 上同时处理多个长达 128K 的任务，特别适合资源有限的开发者。
低内存需求：内存需求降低约 72%，推理时仅激活 1B 参数（总参数为 7B），显著降低了硬件要求。
长上下文处理：支持无位置编码（NoPE），经过验证能够处理至少 128K 的长上下文。
推理效率：推理过程中仅激活部分专家，提升了效率并减少了延迟。

Granite 4.0 Tiny Preview的技术原理

混合架构：结合了 Mamba 的线性计算复杂度（适合长序列）与 Transformer 的精确自注意力机制。模型中 9 个 Mamba 块对应 1 个 Transformer 块，Mamba 块负责高效捕获全局上下文，而 Transformer 块则解析局部上下文。
混合专家（MoE）：该模型包含 7B 参数，分为 64 个专家，推理时仅激活 1B 参数，显著减少了计算资源的消耗。
无位置编码（NoPE）：摒弃了传统的位置编码技术，避免了因位置编码而增加的计算负担及对长序列的限制，保持了卓越的长上下文性能。
长上下文优化：基于 Mamba 的线性扩展能力与紧凑的模型设计，能够支持极长的上下文长度，理论上可扩展至硬件的极限。