不要自回归！扩散模型作者创业，首个商业级扩散LLM来了，编程秒出结果

赶紧用起来吧。

原标题：不要自回归！扩散模型作者创业，首个商业级扩散LLM来了，编程秒出结果
文章来源：机器之心
内容字数：5171字

Inception Labs发布首个商业级扩散大型语言模型Mercury

本文总结了机器之心报道的Inception Labs发布的商业级扩散大型语言模型Mercury (dLLM) 的主要信息。该模型在速度和性能上均展现出显著优势，有望革新大型语言模型的应用范式。

1. Mercury：速度与性能兼备的dLLM

当前，Transformer和扩散模型是AI领域最热门的模型架构。Inception Labs推出的Mercury，是首个商业级扩散大型语言模型，它结合了两种架构的优势，在NVIDIA H100上实现了每秒超过1000 token的处理速度，性能与现有经过速度优化的LLM相当甚至超越。这比一些前沿模型的速度快了20倍以上，以往只有专用硬件才能达到如此高的吞吐量。

2. 扩散模型的优势与突破

不同于传统的自回归LLM从左到右逐个生成token，扩散模型一次性预测所有方向，从噪声开始逐步去噪生成token流。虽然过去研究认为自回归更适合文本，但Mercury证明了扩散模型在文本模态上的巨大潜力。其“从粗到细”的生成方式，使其在推理、结构化响应、纠错和减少幻觉方面表现更好。

3. Mercury Coder：代码生成领域的佼佼者

Mercury Coder是Inception Labs发布的第一个面向公众的dLLM。在标准编码基准测试中，它超越了GPT-4o Mini和Claude 3.5 Haiku等为速度优化的自回归模型，速度提升高达10倍。在Copilot Arena的基准测试中，Mercury Coder Mini的性能甚至超过了GPT-4o等更大的模型，并且速度是GPT-4o Mini的4倍。

4. 高效的并行生成机制

Mercury利用GPU的并行生成机制，显著提高了效率，降低了推理成本（高达10倍）。这意味着在相同的硬件上，可以为更多用户提供服务，降低了运营成本。

5. 广泛的应用前景

Mercury Coder支持多种用例，包括RAG（检索增强生成）、工具使用和智能体工作流。目前已上线公开试用，Inception Labs也为企业用户提供API和内部部署服务。

6. 行业影响与未来展望

著名AI研究科学家Andrej Karpathy高度评价了Mercury的意义，认为它进一步证明了扩散模型在文本模态上的潜力。Inception Labs的成功，标志着扩散模型在大型语言模型领域的重大突破，为下一代LLM的发展指明了方向。

总而言之，Mercury的出现标志着扩散模型在大型语言模型领域的重大突破，其卓越的速度和性能优势，为LLM的应用带来了新的可能性，也预示着未来LLM发展的新方向。

联系作者

文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台