NVIDIA Nemotron Nano 2

NVIDIA Nemotron Nano 2 – 英伟达推出的高效推理模型

核心观点：NVIDIA Nemotron Nano 2 是一款性的90亿参数高效推理模型，凭借其创新的混合Mamba-Transformer架构、超长的128k上下文处理能力以及高达6倍于同类模型的推理速度，为开发者和研究人员带来了前所未有的灵活性和效率。该模型支持精细的“思考”预算控制，并已开源基础模型和部分预训练数据，极大地推动了AI在教育、科研、软件开发等多个领域的应用。

NVIDIA Nemotron Nano 2 闪耀登场，作为英伟达在高效推理模型领域的又一力作，以其90亿的精炼参数，为AI应用注入了澎湃动力。这款模型大胆采用了混合Mamba-Transformer架构，将Mamba-2层的强大能力融入其中，显著提升了推理速度，尤其是在处理长篇幅的推理过程时，其表现尤为突出。与Qwen3-8B等模型相比，Nemotron Nano 2 在推理速度上实现了高达6倍的飞跃，同时在准确性上不遑多让，甚至更胜一筹。

Nemotron Nano 2 的卓越之处

Nemotron Nano 2 的核心优势在于其卓越的性能和前瞻性的设计。它能够轻松驾驭长达128k的上下文长度，这意味着模型可以在单个NVIDIA A10G GPU上处理极其庞大的文本信息，这对于深度分析长文档、复杂研究报告或海量代码库至关重要。

更具性的是，Nemotron Nano 2 引入了“思考预算”控制功能。用户可以精确地设定模型在生成答案前所进行的推理步骤数量，从而在效率和深度之间找到最佳平衡点。这种精细化的控制，使得模型在面对不同复杂度的任务时，能够更加智能地分配计算资源。

此外，Nemotron Nano 2 提供了灵活的输出模式，用户既可以选择查看详尽的推理过程，也可以选择直接获取最终答案，满足多样化的需求。

在语言能力方面，Nemotron Nano 2 的预训练数据集涵盖了多种语言，使其具备强大的多语言推理能力。同时，其覆盖数学、代码、学术、STEM等多个领域的数据，也赋予了它在广泛应用场景下的出色表现。

驱动 Nemotron Nano 2 的核心技术

Nemotron Nano 2 的强大性能源于其多项创新技术的融合。其核心是混合Mamba-Transformer架构，通过用Mamba-2层替换Transformer中的大部分自注意力机制，极大地优化了推理效率，特别是在生成长推理链时优势尽显。而保留部分自注意力层，则保证了模型在灵活性和准确性方面依然保持了顶级水准。

在预训练阶段，Nemotron Nano 2 在海量的20万亿token上进行了深度训练，并采用了FP8精度和优化的学习率调度策略。通过持续的预训练和长上下文扩展阶段，模型成功解锁了128k的上下文处理能力，并且在其他基准测试中的性能并未受到影响。

为了进一步提升模型能力，Nemotron Nano 2 还经历了严格的后训练优化，包括监督微调（SFT）以提升特定任务的表现，以及通过策略优化和人类反馈强化学习（RLHF）来增强模型的指令遵循能力和对话体验。

在模型压缩方面，英伟达运用了剪枝和知识蒸馏技术，将一个120亿参数的基础模型精炼至90亿参数，同时保留甚至提升了性能，显著降低了推理成本，并实现了在单个A10G GPU上的128k上下文推理。

推理预算控制机制则基于截断训练，允许模型根据用户设定的“思考”预算进行推理，避免了不必要的计算，为用户提供了前所未有的灵活性。

探索 Nemotron Nano 2 的广阔天地

Nemotron Nano 2 的开源（包括基础模型和大部分预训练数据集）极大地促进了其在各个领域的应用与研究。在教育领域，它可以作为强大的辅助工具，帮助学生解答复杂的数学和科学难题，通过清晰的推理过程加深对知识的理解。对于学术研究人员而言，Nemotron Nano 2 能够生成详尽的推理过程和分析报告，有力地支持论文撰写和实验设计。

在软件开发领域，开发者可以利用Nemotron Nano 2 生成高质量的代码片段，加速开发进程并优化代码性能。在编程教育中，它能提供生动的代码示例和解释，帮助初学者掌握编程语言和算法。而在客户服务领域，Nemotron Nano 2 可以担当多语言机器人，提供高效、准确的客户支持。

欲深入了解 NVIDIA Nemotron Nano 2，可访问以下链接：

• 项目官网：https://research.nvidia.com/labs/adlr/NVIDIA-Nemotron-Nano-2/
• HuggingFace模型库：https://huggingface.co/collections/nvidia/nvidia-nemotron-689f6d6e6ead8e77dd641615
• 技术论文：https://research.nvidia.com/labs/adlr/files/NVIDIA-Nemotron-Nano-2-Technical-Report.pdf
• 在线体验Demo：https://build.nvidia.com/nvidia/nvidia-nemotron-nano-9b-v2