SketchVideo

SketchVideo – 快手联合多所高校推出基于草图的视频生成与编辑框架

SketchVideo是一款由中国科学院大学、香港科技大学及快手可灵团队共同开发的草图基础视频生成与编辑框架。它允许用户在关键帧上绘制草图，并结合文本提示，从而实现对视频空间布局和的精细掌控。

SketchVideo是什么

SketchVideo是一个基于草图的创新型视频生成与编辑工具，旨在提升视频创作的灵活性与效率。用户可以在关键帧上进行草图描绘，并通过文本提示进行指导，从而实现对视频内容的精准调整。该框架依托于DiT视频生成模型，设计了高效的草图控制网络，涵盖草图控制块和帧间注意力机制，可以将稀疏的关键帧草图条件有效传播到整个视频帧中。SketchVideo支持对真实视频或合成视频进行细粒度的编辑，并利用视频插入模块与潜在融合技术，确保新内容与原始视频在空间和时间上保持一致，保留未编辑区域的细节。

SketchVideo的主要功能

• 视频生成：通过草图与文本提示生成全新视频。
• 视频编辑：在关键帧上绘制草图，便于简化视频内容的修改。
• 动态控制：支持插值和外推，增强视频表现力。
• 细节保留：在编辑过程中保留未修改区域的细腻细节。
• 高效生成：优化内存使用，快速生成高质量视频。

SketchVideo的技术原理

• 草图条件网络：基于DiT（Diffusion-based Transformer）模型，特别设计的草图条件网络通过多个草图控制块预测跳过的DiT块残差特征，在多个层次的特征中注入控制信号。
• 帧间注意力机制：利用帧间注意力机制，将关键帧上的草图条件有效传播到所有视频帧，计算各帧的隐藏特征与控制帧特征之间的关系，实现时空特征的传播。
• 视频插入模块：在视频编辑任务中，设计了视频插入模块，以分析输入草图与原始视频的关系，生成与原始视频在空间和时间上保持一致的新内容，确保编辑后的视频无缝衔接。
• 潜在融合技术：在推理过程中，基于DDIM（Denoising Diffusion Implicit Models）反演生成输入视频的噪声潜在码，替换未编辑区域的潜在码，保持原始视频的细节，确保编辑后的视频视觉上自然且连贯。
• 混合训练策略：采用混合训练策略，结合图像与视频数据进行训练，第一阶段使用图像和视频数据加速收敛，以解决视频数据不足的问题；第二阶段则专注于使用视频数据，进一步优化时间连贯性。

SketchVideo的项目地址

• 项目官网：http://geometrylearning.com/SketchVideo
• GitHub仓库：https://github.com/IGLICT/SketchVideo
• arXiv技术论文：https://arxiv.org/pdf/2503.23284

SketchVideo的应用场景

• 影视与广告：快速生成创意视频和特效预览，优化制作流程，节省时间与成本。
• 教育与培训：辅助制作教学视频和培训材料，提升教学效果。
• 游戏开发：快速生成关卡预览和角色动画，提高开发效率。
• 个人创作：轻松制作个性化短视频，降低创作门槛。
• 建筑设计：生成建筑与室内设计的动态预览，增强客户沟通。

常见问题

• SketchVideo支持哪些视频格式？支持多种主流视频格式，具体格式可参考官网说明。
• 使用SketchVideo需要什么样的硬件配置？建议使用具备较高运算能力的计算机，以保证流畅运行。
• 如何获取SketchVideo的技术支持？用户可以通过项目官网或GitHub仓库提交问题，团队会尽快回复。
• SketchVideo是否开源？是的，SketchVideo的源代码已在GitHub上公开，欢迎用户参与贡献。