美团提出统一多模态模型OneCAT，一键搞定视觉问答/图像编辑/文生图任务，性能表现SOTA。

导读：美团发布了一项名为 OneCAT 的创新性统一多模态模型，其核心亮点在于采用纯解码器 Transformer 架构，实现了对理解、生成和编辑功能的无缝整合。模型通过独特的混合专家（MoE）结构，无需外部组件即可高效处理高分辨率图像，并原生支持动态分辨率。此外，OneCAT 率先在大模型中应用了多尺度视觉自回归机制，显著减少了生成步骤，同时保持了卓越的性能，并在多项多模态基准测试中刷新了现有开源统一多模态模型的记录。

核心特性解析

OneCAT 模型在设计上独具匠心，展现出多方面的创新之处：

纯解码器架构的优势

在推理阶段，OneCAT 摒弃了传统模型依赖的外部视觉编码器和 VAE 分词器。取而代之的是，它仅利用轻量级的补丁嵌入层来处理原始图像数据。这种设计大大简化了模型结构，提高了运行效率。

创新的混合专家（MoE）机制

模型内部集成了三位专门的 FFN（前馈网络）专家，它们各司其职，协同工作：一位专用于语言理解，一位专注于视觉信息的解析，而另一位则负责图像的生成。这种模块化的设计使得模型能够更精细地处理不同类型的多模态任务。

前瞻性的多尺度自回归生成

OneCAT 率先采用了下一代尺度预测范式，能够实现由粗到细的图像生成过程。与现有的扩散模型相比，这种方法能够大幅缩减生成图像所需的步骤，显著提升了生成效率，同时还能保持高质量的输出。

多样的应用场景展示

OneCAT 的统一架构使其能够胜任多种多模态任务，以下是一些典型的应用示例：

交互式对话与视觉问答

文本驱动的图像创作

指令导向的图像编辑

技术细节与研究链接

对于有兴趣深入了解 OneCAT 的研究者和开发者，以下是相关的技术文档和项目地址：

• 论文：OneCAT: Decoder-Only Auto-Regressive Model for Unified Understanding and Generation
• 项目主页：https://onecat-ai.github.io/

OneCAT 的核心创新在于其纯解码器架构，它将理解、生成和编辑能力融于一体，并极大地简化了推理过程，无需依赖外部视觉组件。通过创新的混合专家（MoE）设计和多尺度自回归生成技术，OneCAT 在效率和性能上均取得了显著突破，为通用多模态智能的研究与应用奠定了坚实的基础。

方概览

OneCAT 的实现基于以下几个关键技术点：

纯解码器设计

如前所述，模型在推理时取消了外部视觉编码器和 VAE 分词器，仅依赖于简化的补丁嵌入层来处理原始图像。

混合专家（MoE）架构

模型内部包含三个专门的 FFN 专家：一个用于文本理解，一个用于视觉标记理解，还有一个用于图像合成。

多尺度自回归生成

这项技术是生成图像的关键，它允许模型以粗粒度到细粒度的顺序生成图像，从而大大缩短了生成时间。

训练流程详解

OneCAT 的训练过程分为三个主要阶段，以确保模型在理解和生成能力上的全面发展：

第一阶段：预训练

该阶段包含两个子任务：

• 理解蒸馏：利用 InterViT 作为教师模型，对 4.36 亿对图像-文本数据进行师生蒸馏训练。
• 生成预训练：使用 5100 万个文本到图像样本，并引入 Next-Scale 预测损失进行训练。

第二阶段：统一中期训练

在此阶段，模型通过集成 Scale-Aware Adapter，对所有任务进行统一训练，以实现更优的生成性能。同时，模型原生支持动态分辨率和宽高比，适用于多样化的理解和生成任务。

第三阶段：监督微调

最后，模型使用高质量的指令跟踪数据集进行微调，以提升其在各种指令下的生成能力，并扩展了对高分辨率图像的支持。

实验结果分析

OneCAT 在多项关键多模态任务上取得了令人瞩目的成果：

多模态理解能力

文本到图像生成效果

图像编辑的精准度

效率分析对比

可以看出，OneCAT 在推理速度和计算资源消耗方面均表现出显著的优势。

总结

OneCAT 的发布标志着统一多模态模型发展的一个重要里程碑。其纯解码器架构、高效的混合专家设计以及创新的多尺度自回归生成机制，不仅实现了理解、生成和编辑功能的无缝集成，还在性能和效率上超越了现有的大部分开源模型。这项研究有力地证明了基于第一性原理的多模态建模方法的潜力和优越性，为未来通用多模态智能的发展提供了坚实的技术基础和广阔的应用前景。