PixelFlow

PixelFlow – 港大联合 Adobe 推出的图像生成模型

PixelFlow 是香港大学与 Adobe 合作开发的一款先进图像生成模型，能够在像素空间内直接生成图像。该模型采用高效的级联流建模技术，能够从低分辨率逐步提升至高分辨率，从而显著降低计算成本。在 256×256 的 ImageNet 类别条件图像生成任务中，PixelFlow 取得了 1.98 的 FID 分数，展现出了卓越的图像质量与语义控制能力。

PixelFlow是什么

PixelFlow 是一款由香港大学与 Adobe 联手推出的图像生成模型，具备在像素空间中直接生成图像的能力。通过高效的级联流建模，PixelFlow 从低分辨率逐步提升至高分辨率，有效减轻了计算负担。此外，在 256×256 ImageNet 类别条件图像生成任务中，PixelFlow 达到了 1.98 的 FID 分数，展现出色的图像质量和语义理解能力。它还在文本到图像生成任务中显示了良好的性能，可以生成与文本描述高度一致的高质量图像。PixelFlow 的端到端可训练特性以及高效的多尺度生成策略为下一代视觉生成模型的研究提供了新的方向。

PixelFlow的主要功能

• 高质量图像生成：支持生成高分辨率和高质量的图像。
• 类别条件图像生成：根据指定的类别标签生成对应的图像。
• 文本到图像生成：根据文本描述生成匹配的图像，具备复杂的语义理解和视觉表现能力。

PixelFlow的技术原理

• 流匹配：流匹配技术基于一系列线性路径，将先验分布（例如标准正态分布）的样本逐步转换为目标数据分布的样本。在训练过程中，通过线性插值构造训练样本，训练模型预测从中间样本到真实数据样本的转换速率。
• 多尺度生成：采用多阶段去噪过程逐步提高图像分辨率。每个阶段从较低分辨率的噪声图像开始，逐步去噪以提升分辨率，直到达到目标分辨率。这一方法避免了在全分辨率下进行所有去噪步骤，从而显著降低了计算成本。
• Transformer架构：
  • Patchify：将输入图像的空间表示转换为一维序列标记。
  • RoPE（Rotary Position Embedding）：用 RoPE 取代传统的正弦余弦位置编码，更好地处理不同的图像分辨率。
  • 分辨率嵌入：引入额外的分辨率嵌入以区分不同的分辨率。
  • 文本到图像生成：在每个 Transformer 块中引入交叉注意力层，将视觉特征与文本输入进行对齐。
• 端到端训练：基于统一的参数集直接在像素空间中进行训练，无需预训练的 VAE 或其他辅助网络。训练过程均匀采样来自所有分辨率阶段的训练样本，利用序列打包技术进行联合训练，提高训练效率和模型的可扩展性。
• 高效的推理策略：在推理过程中，PixelFlow 从最低分辨率的高斯噪声开始，逐步去噪并提升分辨率，直到达到目标分辨率。支持多种 ODE 求解器（如 Euler 和 Dopri5），可以根据需求选择不同的求解器，以平衡速度与生成质量。

PixelFlow的项目地址

• GitHub仓库：https://github.com/ShoufaChen/PixelFlow
• arXiv技术论文：https://arxiv.org/pdf/2504.07963
• 在线体验Demo：https://huggingface.co/spaces/ShoufaChen/PixelFlow

PixelFlow的应用场景

• 艺术与设计：用于生成创意绘画、平面设计元素和虚拟角色。
• 内容创作：辅助视频制作、游戏开发和社交媒体内容的创作。
• 教育与研究：作为教学工具，帮助理解复杂概念，并辅助科研可视化。
• 商业与营销：生成产品设计原型、广告图像和品牌推广内容。
• 娱乐与互动：应用于互动故事、VR/AR 内容生成和个性化图像定制。

常见问题

• PixelFlow的使用门槛高吗？：PixelFlow 提供了用户友好的接口，任何具备基本计算机操作能力的用户都可以轻松使用。
• 生成的图像质量如何？：PixelFlow 在多项标准测试中表现优异，生成的图像质量高，且与输入文本高度一致。
• 我可以将生成的图像用于商业用途吗？：具体的使用条款请参考项目的相关文档和许可协议。