Seaweed-7B

Seaweed-7B – 字节推出的视频生成模型

Seaweed-7B是什么

Seaweed-7B 是由字节跳动团队研发的一款先进视频生成模型，拥有约 70 亿个参数。该模型展现了卓越的视频生成能力，能够从文本描述、图像或音频生成高质量的视频内容，并支持多种分辨率和时长的设置。它在视频创作、动画生成、实时交互等多个领域得到了广泛应用。同时，Seaweed-7B在设计上极为注重成本效益，通过优化的训练策略和架构，使得中等规模的模型在性能上与大型模型相媲美，从而有效降低计算成本。

Seaweed-7B的主要功能

文本转视频：根据用户提供的文本描述生成相应的视频内容，能够处理复杂的动作和场景。
图像转视频：以图像作为第一帧，生成与其风格一致的视频，或指定起始帧和结束帧生成过渡视频。
音频驱动的视频生成：根据音频输入生成与之匹配的视频内容，确保口型和动作的同步。
长镜头生成：支持生成最长达 20 秒的单镜头视频，并可通过扩展技术生成最长一分钟的视频。
连贯的故事叙述：能够生成多镜头的长视频，保持场景和镜头之间的流畅性。
实时生成：支持在 1280×720 分辨率和 24fps下实时生成视频。
高分辨率及超分辨率支持：生成高达 1280×720 分辨率的视频，并可进一步上采样至 2K QHD 分辨率。
相机控制与世界探索：提供定义轨迹的精确相机控制功能，支持交互式世界探索。
增强的物理一致性：通过计算机生成的合成视频进行后训练，以提升视频生成的物理一致性和3D效果。

Seaweed-7B的技术原理

变分自编码器（VAE）：将视频数据压缩至低维潜在空间，并从中重建原始视频。采用因果3D卷积架构，实现图像与视频的统一编码，有效避免边界闪烁现象。同时，通过混合分辨率训练（如256×256、512×512等）提升高分辨率视频的重建质量。
扩散变换器（DiT）：在VAE的潜在空间中逐步生成视频内容，通过去噪过程创造高质量视频。利用混合流结构结合全注意力与窗口注意力机制，以提高训练效率和生成质量，并通过多模态旋转位置编码（MM-RoPE）增强文本与视频间位置数据的融合。
多阶段训练策略：从低分辨率图像逐步过渡至高分辨率视频，优化GPU资源分配。包括预训练阶段（仅图像、图像+视频）和后训练阶段（监督微调与人类反馈强化学习）。
优化技术：采用多级激活检查点（MLAC）减少GPU内存占用和计算开销，融合CUDA内核优化I/O操作，提高训练和推理效率。扩散蒸馏技术则减少生成所需的函数评估次数（NFE），加速推理过程。
数据处理：通过高质量视频数据，利用时间分割、空间裁剪和质量过滤等方法进行数据清洗。同时，通过合成视频数据增强训练数据的多样性和物理一致性，并生成详细的视频字幕，以提升模型的文本理解能力。