MT-Color

MT-Color – 上海交大联合哔哩哔哩推出的可控图像着色框架

MT-Color是什么

MT-Color是由上海交通大学与哔哩哔哩合作开发的一种基于扩散模型的可控图像着色框架。该技术通过用户提供的实例感知文本和掩码，以实现精准的实例级图像着色。MT-Color采用像素级掩码注意力机制来有效防止色彩溢出，同时利用实例掩码和文本引导模块解决色彩绑定错误的问题，并通过多实例采样策略来增强实例感知效果。该框架还构建了GPT-Color数据集，提供高质量的实例级注释，支持更为细致的图像着色任务。MT-Color在色彩准确性和视觉效果上超越了现有的技术，使生成的图像更符合人类的视觉感知。

MT-Color的主要功能

• 精准的实例级着色：根据用户提供的实例掩码和文本描述，针对图像中的不同对象进行精确着色，确保每个对象的颜色与其描述相符。
• 有效防止色彩溢出：通过像素级掩码注意力机制，有效避免色彩在不同对象之间的错误扩散，从而保持颜色的边界清晰。
• 高质量的色彩生成：生成的彩像色彩丰富自然，分辨率达到512×512，细节更为清晰。
• 灵活的用户控制：用户可以通过文本描述和掩码，对图像的着色过程进行精细调控，以满足不同的着色需求。
• 数据集支持：构建专门的GPT-Color数据集，提供高质量的实例级注释，以支持更精细的图像着色任务。

MT-Color的技术原理

• 像素级掩码注意力机制：将ControlNet提取的灰度图像特征与Stable Diffusion的潜在特征通过像素级交叉注意力机制进行对齐，有效防止不同实例间的像素信息交互，从而缓解色彩溢出问题。利用分割掩码构建交叉注意力掩码，确保不同实例间的像素信息不相互干扰。
• 实例掩码和文本引导模块：提取每个实例的掩码与文本表示，并通过自注意力机制与潜在特征融合，形成自注意力掩码，避免实例文本对其他区域的引导，减少色彩绑定错误。
• 多实例采样策略：在采样过程中，对每个实例区域分别进行采样并融合结果，进一步增强实例感知的着色效果。
• GPT-Color数据集：基于预训练的视觉语言模型（如GPT-4和BLIP-2），在现有图像数据集上自动生成高质量的实例级注释，包括细致的文本描述和相应的分割掩码，为模型训练提供丰富的训练数据。

MT-Color的项目地址

• arXiv技术论文：https://arxiv.org/pdf/2505.08705

MT-Color的应用场景

• 历史照片修复：为黑白历史照片增添生动的色彩，提升其观赏性和历史感。
• 影视后期制作：修复和增强黑白或低质量彩色镜头，提升视觉效果。
• 艺术创作：协助艺术家为黑白草图或插画添加色彩，激发创意。
• 医学图像处理：为医学图像增添色彩，以提高其诊断价值。
• 教育领域：为教学材料中的黑白图像增添色彩，增强学习体验。

常见问题

• MT-Color支持哪些格式的输入？：MT-Color支持用户上传的图像和相应的文本描述以及掩码。
• 如何使用MT-Color进行图像着色？：用户只需提供所需图像的掩码和描述，系统会自动生成着色结果。
• 生成的图像质量如何？：MT-Color生成的图像色彩丰富且自然，且分辨率高，能够清晰呈现细节。
• 适合哪些行业使用？：MT-Color适用于历史修复、影视制作、艺术创作、医学图像处理及教育等多个领域。