图森未来推出的图生视频大模型

产品名称：Ruyi
产品简介：Ruyi是图森未来科技有限公司推出的图生视频大模型，专为在消费级显卡上运行设计，支持多分辨率、多时长视频生成，具备首帧、首尾帧控制、幅度控制和镜头控制等特性。Ruyi基于DiT架构，由Casual VAE模块和Diffusion Transformer组成，用在视频数据压缩和生成。
详细介绍：

Ruyi是什么

Ruyi是图森未来推出的图生视频大模型，专为在消费级显卡上运行设计，支持多分辨率、多时长视频生成，具备首帧、首尾帧控制、幅度控制和镜头控制等特性。Ruyi基于DiT架构，由Casual VAE模块和Diffusion Transformer组成，用在视频数据压缩和生成。Ruyi能降低动漫和游戏内容的开发周期和成本，是ACG爱好者和创作者的理想工具。目前图森未来将Ruyi-Mini-7B版本正式开源。

Ruyi的主要功能

• 多分辨率、多时长生成：Ruyi支持从最小384×384到最大1024×1024分辨率的视频生成，能处理任意长宽比，最长生成120帧/5秒的视频。
• 首帧、首尾帧控制生成：基于最多5个起始帧和最多5个结束帧生成视频，用循环叠加生成任意长度的视频。
• 幅度控制：提供4档幅度控制，方便用户对整体画面的变化程度进行控制。
• 镜头控制：提供了上、下、左、右、静止5种镜头控制，增加视频生成的灵活性。

Ruyi的技术原理

• 模型架构：Ruyi基于DiT（Diffusion Model with Transformers）架构，由两部分组成：
  • Casual VAE模块：负责视频数据的压缩和解压。
  • Diffusion Transformer：负责压缩后的视频生成。
• 压缩与编码：Casual VAE模块将空间分辨率压缩至1/8，时间分辨率压缩至1/4，压缩后每个像素由16位的BF16进行表示。
• 位置编码：DiT部分用3D full attention，在空间上使用2D RoPE（Rotary Positional Encoding）进行位置编码，时间上用sin_cos进行位置编码。
• 训练损失函数：最终的loss选用DDPM（Denoising Diffusion Probabilistic Models）进行训练。
• 参数量与训练数据：模型的总参数量约为7.1B，用约200M视频片段进行训练。
• 训练阶段：整个训练分为四个阶段，从低分辨率预训练到高分辨率微调，逐步提升模型性能。

Ruyi的项目地址

• GitHub仓库：https://github.com/IamCreateAI/Ruyi-Models
• HuggingFace模型库：https://huggingface.co/IamCreateAI/Ruyi-Mini-7B

Ruyi的应用场景

• 动画预制：快速生成动画角色和场景的动态演示，评估动画设计和故事流程。
• 游戏CG生成：在游戏开发中，自动生成游戏宣传视频或游戏内的动态背景。
• 电影特效预览：在电影制作中，帮助导演和特效团队预览特效场景，优化后期特效制作。
• 虚拟主播：生成虚拟主播的动态视频，用于直播、新闻播报或在线教育。
• 社交媒体内容：为社交媒体台创建吸引人的动态视频内容，提高用户参与度和品牌曝光。