Jodi

Jodi – 中国科学院推出的视觉理解与生成统一模型

Jodi是由中国科学院计算技术研究所与中国科学院大学共同研发的先进扩散模型框架，旨在将视觉生成与理解有效结合。其独特之处在于通过联合建模图像及多个标签域，实现深度的视觉信息处理。

Jodi是什么

Jodi是一个创新的扩散模型框架，源于中国科学院计算技术研究所和中国科学院大学，旨在统一视觉生成与理解的过程。该框架依托于线性扩散Transformer和角色切换机制，能够执行三种核心任务：联合生成（同时生成图像及多个标签）、可控生成（基于标签组合生成特定图像），以及图像感知（从图像中预测多个标签）。Jodi利用Joint-1.6M数据集进行训练，该数据集包含20万张高质量图像及7个视觉域标签。Jodi在生成和理解任务中表现出色，展现出强大的可扩展性和跨领域一致性。

Jodi的主要功能

• 联合生成：能够同时生成图像和多种标签，例如深度图、法线图和边缘图，确保生成的内容在语义和空间上具有一致性。
• 可控生成：用户可通过特定标签组合来生成图像，从而控制生成结果的特定属性或特征。
• 图像感知：从给定的图像中预测多个标签，实现对图像的多维度理解与分析，例如深度估计、边缘检测和语义分割等。

Jodi的技术原理

• 联合建模：通过对图像域及多个标签域的联合分布进行建模，推导出生成和理解任务所需的边际和条件分布。
• 角色切换机制：在训练过程中，每个域会被随机指定为三种角色之一：生成目标（[G]）、条件输入（[C]）或被忽略（[X]），使模型能够学习不同类型的概率分布。
• 线性扩散Transformer：作为主干网络的线性扩散Transformer通过线性注意力机制有效降低计算复杂度，使模型能高效处理多个视觉域，同时引入掩码线性注意力和领域不变的位置嵌入，增强不同视觉域之间的一致性和对齐。
• 数据集构建：为支持多视觉域的联合建模，Jodi开发了Joint-1.6M数据集，包含20万张高质量图像及对应的7个视觉域的自动标签，提供丰富的数据支持。

Jodi的项目地址

• 项目官网：https://vipl-genun.github.io/Project-Jodi/
• GitHub仓库：https://github.com/VIPL-GENUN/Jodi
• HuggingFace模型库：https://huggingface.co/VIPL-GENUN/Jodi
• arXiv技术论文：https://arxiv.org/pdf/2505.19084

Jodi的应用场景

• 创意内容生成：为艺术家和设计师提供灵感，能够快速生成具有特定风格或元素的图像。
• 多模态数据增强：生成高质量的多模态数据，提升机器学习模型的训练效果。
• 图像编辑与修复：根据用户输入，修复或编辑图像，生成缺失部分或调整风格。
• 视觉理解与分析：通过预测多种视觉标签，辅助完成图像理解任务，例如医学图像分析。
• 虚拟现实与增强现实：生成真实感的虚拟场景和标注信息，提升VR和AR应用的用户体验。

常见问题

• Jodi适用于哪些领域？ Jodi可以广泛应用于创意设计、数据增强、图像处理及医疗影像分析等多个领域。
• 使用Jodi需要哪些技术基础？ 使用Jodi建议具备一定的机器学习和深度学习基础，尤其是在图像处理方面的知识。
• 如何获取Jodi的支持与帮助？ 用户可以通过项目官网或GitHub仓库联系开发团队，获取技术支持和使用帮助。