PortraitGen

PortraitGen是一款由中国科学技术大学研究团队开发的AI人像视频编辑工具。该工具利用先进的3D高斯溅射技术与神经高斯纹理机制，将传统的2D人像视频转变为具有四维高斯场的高质量视频，实现了出色的3D效果和时间连续性编辑。PortraitGen支持多种编辑模式，包括文本驱动和图像驱动的编辑功能，能够高效地对视频中的角色进行风格化、换装及光照调整等操作。

PortraitGen是什么

PortraitGen是中国科学技术大学的研究团队推出的一款AI人像视频编辑工具。它通过3D高斯溅射技术与神经高斯纹理机制，将2D人像视频转换为4D高斯场，从而实现高质量的3D效果和时间一致性编辑。该工具支持多模态编辑，包括文本驱动和图像驱动的编辑方式，用户可以快速、轻松地对视频中的人物进行风格化、换衣和光照调整等操作。通过面部感知编辑和表达式相似性指导，PortraitGen确保编辑后的肖像自然且与原始视频帧保持一致性。

PortraitGen的主要功能

• 多模态人像编辑：支持文本驱动和图像驱动的编辑方式，用户可以通过文字描述指定人物的动作、表情和场景变化，或使用参考图像进行风格转换或虚拟试穿。
• 光照调节：采用IC-Light技术，根据文本描述动态调整视频中的光照效果，使其与场景完美融合。
• 人脸感知编辑：通过面部感知编辑模块，确保编辑过程中保留人物的面部结构和个性特征，优化人物表情和面部动作的自然性与一致性。
• 风格转换与虚拟试穿：支持风格转换和虚拟试穿，用户可以通过参考图像实现全局风格迁移（如动画风格）或为视频中的角色添加虚拟服装等物品。
• 多镜头和复杂场景处理：能够处理多镜头视频，保持风格和人物的一致性，并通过高斯纹理技术实现复杂风格的视频渲染，例如乐高风格或像素艺术风格。
• 快速生成与高帧率输出：能在短时间内完成编辑，生成视频时支持高达100帧每秒（FPS）的渲染速度，适合高效的视频制作需求。

PortraitGen的技术原理

• 3D高斯溅射：基于3D高斯表示来构建场景，通过3D协方差矩阵定义每个高斯的中心、方向、大小以及不透明度和颜色属性，形成动态3D场。
• 神经高斯纹理机制：在SMPL-X模型的UV空间中维护一个3D高斯场，根据输入视频中的底层网格变形调整高斯，并利用UV映射和2D神经渲染器将特征图转化为RGB信号。
• 面部感知编辑模块：对面部区域进行两次编辑，以增强面部结构的感知，提升编辑质量。
• 表达式相似性指导：将渲染图像和输入源图像映射到EMOCA的潜在表达式空间，使用损失函数确保表情保持相似。
• 多模态编辑技术：结合大规模2D生成模型的知识，实现文本驱动编辑、图像驱动编辑以及重新照明。

PortraitGen的项目地址

• 项目官网：ustc3dv.github.io/PortraitGen
• GitHub仓库：https://github.com/USTC3DV/PortraitGen-code
• arXiv技术论文：https://arxiv.org/pdf/2409.13591

PortraitGen的应用场景

• 电影和影视制作：在电影、电视剧或短片制作中，创建或修改角色外观，实现特效化妆或风格化场景转换。
• 艺术创作：艺术家和插画师使用PortraitGen创作具有特定风格的人像艺术作品，例如将肖像转换为像素艺术或油画风格。
• 广告和宣传：在广告行业中，根据品牌形象或产品特点，对人物肖像进行个性化编辑，以吸引目标受众。
• 时尚行业：时尚设计师和零售商通过虚拟试穿功能，在虚拟环境中展示服装和配饰，为客户提供全新的购物体验。
• 社交媒体和短视频：内容创作者和影响者使用PortraitGen编辑自己的肖像视频，增加创意效果，提高内容的吸引力和互动性。
• 游戏开发：在游戏角色设计中，快速生成或编辑角色外观，提高游戏的个性化和丰富性。

常见问题

• PortraitGen适合哪些用户使用？ PortraitGen适合影视制作人、艺术创作者、广告设计师、时尚行业专业人士及社交媒体内容创作者等多种用户使用。
• 使用PortraitGen需要什么样的设备？ PortraitGen建议在具有较高计算能力的设备上使用，以确保流畅的编辑体验和高帧率输出。
• 是否支持多语言？ 目前，PortraitGen主要支持中文和英文，未来可能会增加更多语言的支持。