Nemotron 3 Embed

Nemotron 3 Embed – 英伟达开源的文本嵌入模型系列

NVIDIA 推出了一款名为 Nemotron 3 Embed 的创新文本嵌入模型系列，旨在为检索增强生成（RAG）和智能体检索等前沿应用提供强大的支持。该系列模型拥有 80 亿（8B）和 10 亿（1B）两种参数规模，能够处理长达 32k 的上下文窗口，并支持多达 34 种语言。更重要的是，它采用了 OpenMDW-1.1 许可协议，允许商业化使用，为开发者和企业带来了极大的灵活性。

Nemotron 3 Embed 揭秘

Nemotron 3 Embed 是 NVIDIA 开源的一系列高性能文本嵌入模型，其核心使命是赋能检索增强生成与智能体检索的强大能力。该系列模型提供 8B 和 1B 两种规格，满足不同性能和成本需求。其亮点在于支持 32k 的超长上下文窗口，以及覆盖 34 种语言的广泛支持。基于 OpenMDW-1.1 许可协议，Nemotron 3 Embed 能够应用于商业项目。旗舰级的 8B 模型在 RTEB 多语言检索排行榜上以 78.5% 的优异成绩荣登榜首，展现了其卓越的检索实力。而 1B 版本则通过精巧的剪枝与蒸馏技术，在显著降低推理成本的同时，依然保留了高达 95% 的检索精度。

Nemotron 3 Embed 的核心能力

• 跨语言密集检索：能够为 34 种语言的文本生成高质量嵌入，实现精准的跨语言语义搜索。
• 海量上下文处理：支持 32k 的上下文长度，使得处理长文档检索和问答成为可能。
• 灵活的格选择：8B 版本追求极致的检索性能，1B 版本则在成本与速度之间找到了绝佳的平衡点。
• 针对性硬件优化量化：推出的 NVFP4 量化版本，专为 NVIDIA Blackwell 架构量身打造，可将吞吐量提升高达两倍。
• 完善的生产级部署支持：提供 NVIDIA NIM 微服务、vLLM 以及 Hugging Face 原生集成，确保部署的便捷性和高效性。

Nemotron 3 Embed 的技术精髓

• 基于 Mistral-3-8B-Instruct-2512 的优化：8B 模型在成熟的开源架构基础上，针对检索任务进行了深度微调和性能优化。
• 对比学习的强大驱动：通过大规模的对比学习训练，将文本巧妙地映射到密集向量空间，确保语义相近的文本在向量空间中的距离更近。
• 结构化剪枝与蒸馏的智慧结晶：1B 模型通过移除冗余参数并借鉴 8B 模型的行为进行蒸馏，实现了模型体积的压缩，同时依然保持了优秀的检索精度。
• NVFP4 低精度量化的突破：采用针对 Blackwell 架构优化的 4 位浮点量化技术，在几乎不影响精度的前提下，实现了模型吞吐量的大幅提升。

请关注我们的微信公众号，回复“开源”即可加入AI开源项目交流群，获取更多前沿资讯。

如何轻松上手 Nemotron 3 Embed

• Hugging Face 平台下载：您可以直接访问 Hugging Face 模型仓库下载模型权重，并通过 Transformers 或 Sentence-Transformers 库进行便捷的推理操作。
• NVIDIA NIM 微服务快速部署：前往 build.nvidia.com 获取 NIM 微服务容器，在企业级环境中迅速部署生产级别的推理服务。
• vLLM 高吞吐量部署：利用 vLLM 高效的推理引擎部署模型，轻松应对大规模并发检索请求。
• 灵活的微调与蒸馏方案：您可以参考 NVIDIA 提供的微调指南，利用自有领域数据对模型进行定制化适配；或者通过蒸馏配方，将 8B 模型的核心知识迁移到更小的模型中。

Nemotron 3 Embed 的突出亮点

• RTEB 基准的领跑者：8B 模型在 RTEB 多语言检索基准测试中以 78.5% 的得分，超越了所有已知的开源和闭源模型。
• 开放的商业可用性：遵循 OpenMDW-1.1 许可协议，模型的权重、微调和蒸馏配方完全开放，支持广泛的商业应用。
• 软硬件协同的卓越性能：NVFP4 量化版本与 Blackwell 架构的深度集成，实现了精度和吞吐量的最佳平衡。
• 业界领先的长上下文支持：32k 的上下文窗口在当前的嵌入模型中处于领先地位，能够满足复杂的长文档检索需求。

Nemotron 3 Embed 的项目入口

• 项目官方博客：https://huggingface.co/blog/nvidia/nemotron-3-embed-wins-rteb
• HuggingFace 模型集锦：https://huggingface.co/collections/nvidia/nemotron-3-embed

Nemotron 3 Embed 与竞品对比分析

Nemotron 3 Embed 的广泛应用场景

• 企业内部知识库问答：构建支持多语言的企业内部 RAG 系统，帮助员工高效跨语言检索技术文档和规章制度。
• 智能客服的精准检索：为智能客服机器人提供强大的语义检索能力，快速定位用户问题的解决方案。
• 法律与金融领域的合规审查：在海量法律合同、财务报告和监管文件中精准识别关键条款，辅助合规分析和风险评估。
• 电商平台的语义化商品搜索：通过深入理解用户搜索意图，实现跨语言的商品匹配和个性化推荐。
• 代码与技术文档的高效检索：在庞大的代码库和技术文档中，快速定位相关的函数、API 说明和实现范例。