SimpleAR

SimpleAR – 复旦大合字节 Seed 团队推出的图像生成模型

SimpleAR 是由复旦大学视觉与学习实验室和字节 Seed 团队共同研发的一款纯自回归图像生成模型。该模型通过简洁的自回归架构，结合优化的训练与推理流程，实现了高效且高质量的图像生成。仅凭 5 亿个参数，SimpleAR 就能够生成分辨率高达 1024×1024 的图像，并在 GenEval 等多个基准测试中表现出色。

SimpleAR是什么

SimpleAR 是一款创新的纯自回归图像生成模型，由复旦大学视觉与学习实验室与字节 Seed 团队联合推出。其独特的自回归架构，经过优化的训练和推理过程，使其能够生成高分辨率的图像。SimpleAR 仅用 5 亿参数便能高效生成 1024×1024 的图像，并在 GenEval 等基准测试中取得了0.59的优异成绩。该模型采用“预训练 – 有监督微调 – 强化学习”的三阶段训练方法，有效提升了文本理解和图像生成的效果。同时，SimpleAR 也兼容现有的加速技术，使得推理时间缩短到 14 秒以内。

SimpleAR的主要功能

• 高质量文本到图像生成：SimpleAR 作为一个纯自回归的视觉生成框架，能够生成高达 1024×1024 分辨率的高质量图像，且在 GenEval 等基准测试中取得了 0.59 的优异成绩。
• 多模态融合生成：该模型将文本和视觉 token 在一个统一的 Transformer 架构中平等对待，支持多模态建模，从而更有效地进行文本指导下的图像生成。

SimpleAR的技术原理

• 自回归生成机制：SimpleAR 采用经典的自回归生成方式，通过逐步预测“下一个 token”的形式生成图像。这种方法将图像拆分为一系列离散的 token，并逐个进行预测，以构建完整的图像。
• 多模态融合：该模型将文本编码与视觉生成整合在一个 decoder-only 的 Transformer 架构中，提升了参数利用效率，支持文本与视觉模态的联合建模，使模型能够更自然地理解和生成与文本描述相符的图像。
• 三阶段训练方法：
  • 预训练：通过大规模数据集进行预训练，学习通用的视觉和语言模式。
  • 有监督微调（SFT）：在预训练基础上，采用有监督学习进一步提升生成质量和指令的遵循能力。
  • 强化学习（GRPO）：基于简单的奖励函数（如 CLIP）进行后续训练，优化生成内容的美学与多模态对齐。
• 推理加速技术：SimpleAR 通过 vLLM 等技术优化推理过程，将图像生成时间显著缩短，0.5B 参数的模型能够在 14 秒内生成 1024×1024 分辨率的高质量图像。
• 视觉 tokenizer 的选择：SimpleAR 使用 Cosmos 作为视觉 tokenizer，但在低分辨率图像和细节重建方面仍存在一定局限性，有待进一步改进。

SimpleAR的项目地址

• Github仓库：https://github.com/wdrink/SimpleAR
• HuggingFace模型库：https://huggingface.co/papers/2504.11455
• arXiv技术论文：https://arxiv.org/pdf/2504.11455

SimpleAR的应用场景

• 创意设计：SimpleAR 能够帮助设计师快速生成高质量的图像，适用于广告设计、海报制作和艺术创作等领域。
• 虚拟场景构建：通过文本描述生成虚拟场景，为游戏开发、虚拟现实（VR）和增强现实（AR）应用提供丰富的素材。
• 多模态机器翻译：SimpleAR 的多模态融合能力可将图像信息与文本翻译相结合，提高翻译的准确性和丰富性。
• 视频描述生成：通过结合图像生成与视频内容，为视频生成详细的描述文本。
• 增强现实（AR）与虚拟现实（VR）：SimpleAR 可以生成与现实场景高度融合的虚拟图像，适用于工业维修、教育演示和旅游导览等场景，提升用户体验。
• 图像增强与修复：SimpleAR 可用于增强低分辨率图像的细节，提高图像质量，并通过生成缺失或损坏部分的图像内容实现修复。