ObjectMover

ObjectMover – 港大联合 Adobe 推出的新型图像编辑模型

ObjectMover 是一款由香港大学与 Adobe Research 联合研发的先进图像编辑模型，旨在解决图像中物体移动、插入和移除时所带来的光照、阴影不协调及物体失真等问题。该模型将物体移动视为两帧视频的特殊情况，利用预训练的视频生成模型的跨帧一致性学习能力，通过微调将其应用于图像编辑任务。

ObjectMover是什么

ObjectMover 是香港大学与 Adobe Research 联合推出的一种创新图像编辑模型，专注于解决在图像中进行物体移动、插入和移除时常见的光照、阴影不匹配及物体失真等问题。该模型将物体移动视作特殊的两帧视频案例，借助预训练的视频生成模型（如扩散模型）进行跨帧一致性学习，通过微调实现从视频生成任务向图像编辑任务的迁移。模型采用序列到序列建模方法，输入包括原始图像、目标物体图像和指令图，输出为移动后的合成图像。

ObjectMover的主要功能

物体移动：可以将图像中的物体移动到指定位置，自动调整相关的物理效果，包括光照、阴影和反射，同时保持物体的特征一致性。
物体删除：能够真实地填补被移除物体的背景，避免生成不相关的新物体，并准确移除与物体相关的光影。
物体插入：确保入物体的身份特征得以精准保持，并自动生成与环境相符的光影效果。

ObjectMover的技术原理

视频先验迁移：ObjectMover将物体移动视为两帧视频的任务，利用预训练的视频生成模型实现跨帧一致性学习。通过微调模型，使其从视频生成任务有效迁移至图像编辑任务，充分利用在预训练中获得的物理规律和物体对应关系，从而精确实现光影同步与身份特征的保持。
序列到序列建模：该模型将物体移动问题重构为序列预测任务，输入包括原始图像、目标物体图像及指令图（标注移动位置与方向），输出为合成的移动图像。这种方法使模型在理解和处理物体在不同位置下的光影变化及遮挡关系上表现得更为出色。
合成数据集构建：鉴于缺乏大规模物体移动的真实数据，研究团队利用现代游戏引擎（如虚幻引擎）生成高质量合成数据对。这些数据涵盖复杂的光照、材质和遮挡场景，极大增强了模型训练的多样性和泛化能力。
多任务学习策略：ObjectMover结合物体移动、移除、插入及视频数据插入四个子任务，通过统一框架在合成数据与真实视频数据上进行训练。这种策略提升了模型对真实场景的泛化能力，使其在多种图像编辑任务中展现出更高的适应性和鲁棒性。

ObjectMover的项目地址

项目官网：https://xinyu-andy.github.io/ObjMover/
arXiv技术论文：https://arxiv.org/pdf/2503.08037

ObjectMover的应用场景

特效制作：在复杂特效场景中，如物体消失或出现，ObjectMover能够实现物体的删除与插入，同时保持场景的真实性。
虚拟场景编辑：在虚拟现实与游戏开发中，需要对虚拟场景中的物体进行灵活调整，ObjectMover可用于移动场景内的物体，确保物体的光照和阴影与环境保持一致。
游戏关卡设计：开发者可以借助ObjectMover快速调整关卡中的物体布局，从而提高关卡设计的效率。
产品展示：在产品广告中，ObjectMover可以将产品放置于不同场景中，展示其多样的使用情况。
空间规划：在建筑与室内设计领域，ObjectMover能够帮助将家具或装饰品移动至不同的位置，以评估各类设计方案。