UNO

UNO – 字节跳动推出的创新AI图像生成框架

UNO

UNO概述

UNO是字节跳动推出的一款创新型AI图像生成框架，旨在克服传统模型在生成多主体图像时所面临的限制。通过独特的“少到多”泛化策略，UNO能够高效地生成单一主体与多个主体的高质量图像，成功解决了在多主体场景中保持一致性的问题。该框架以扩散变换器为基础，生成具有高一致性的多主体数据，并采用渐进式跨模态对齐技术，通过分阶段的模型训练逐步提升生成效果。此外，UNO引入了通用旋转位置嵌入（UnoPE），支持生成多种分辨率和长宽比的图像。

UNO的主要功能

单主体定制生成：UNO能够根据提供的参考图像生成在不同场景、姿势或风格中保持相同主体特征的图像。
多主体组合生成：用户可以输入多个参考图像，UNO将生成一幅包含所有参考主体的新图像。
虚拟试穿与产品展示：UNO支持虚拟试穿功能，能够将特定产品（如服装、饰品等）应用于各种人物模型，展示其实际效果，同时保持产品的原始特性。
风格化生成：UNO具备风格转换能力，可以为参考主体生成不同风格的图像。
强大的泛化能力：UNO在多个任务中展现出卓越的泛化能力，能适用于多种应用场景，包括单主体和多主体驱动的图像生成，涵盖id、tryon、style等领域。

UNO的技术原理

高一致性数据合成管道：UNO利用扩散变换器的内在上下文生成特性，合成高一致性的多主体配对数据，从而自动创建大规模、高质量的训练数据，解决了数据获取的难题。
渐进式跨模态对齐：UNO的训练过程分为两个阶段：
- 第一阶段：使用单主体上下文生成的数据对预训练的文本到图像（T2I）模型进行微调，使其具备处理单主体生成任务的能力。
- 第二阶段：引入多主体数据继续训练，增强模型处理复杂场景的能力。这种逐步对齐的方式使模型更好地适应从单主体到多主体的生成任务。
通用旋转位置嵌入（UnoPE）：UNO通过引入通用旋转位置嵌入（UnoPE），有效解决了扩展视觉主体控制时的属性混淆问题。UnoPE为文本和图像标记分配特定位置索引，调控多模态标记之间的交互，帮助模型专注于从文本特征中提取布局信息，同时保持良好的文本可控性和主体相似性。
模型架构：UNO基于开源模型FLUX.1 dev，继承其文生图基础能力和多模态注意力机制，采用通用定制化模型框架，支持从文本到图像的迭代训练，通过独特的渐进式跨模态对齐和通用旋转位置嵌入等机制，实现单主体和多主体生成中的高一致性和可控性。
数据管理与模型进化：UNO采用“模型-数据共同进化”的新范式，以较弱的模型生成训练数据，从而训练出更强的模型，使模型在训练过程中逐步适应多样化场景，能够有效应对实际应用中可能遇到的复杂情况。