SeedFoley

SeedFoley – 字节推出的端到端视频音效生成模型

SeedFoley是一款由字节跳动豆包大模型语音团队研发的端到端视频音效生成系统，为视频创作者提供智能化的音效生成解决方案。该模型通过结合时空视频特征与扩散生成模型，实现了音效与视频内容的高度同步。其独特的视频编码器采用快慢特征组合，能够提取视频的时空信息，同时基于原始波形的音频表征模型保留高频细节，显著提升音效的精致程度。

SeedFoley是什么

SeedFoley 是字节跳动豆包大模型语音团队推出的一款端到端视频音效生成模型，旨在为视频创作提供智能音效服务。通过融合时空视频特征与扩散生成模型，该系统能够实现音效与视频的精准同步。模型采用了快速与慢速特征结合的视频编码器，提取视频的时空特征，同时使用原始波形作为输入的音频表征模型，以保留高频信息，提升音效的细腻程度。扩散模型通过优化概率路径上的连续映射关系，有效减少推理步数，降低推理成本。SeedFoley能够精准提取视频帧级的视觉信息，智能区分动作音效与环境音效，支持多种视频长度，并在音效的准确性、同步性和匹配度上表现卓越。

SeedFoley

SeedFoley的主要功能

智能音效生成：SeedFoley能够精准提取视频帧级的视觉信息，通过分析多帧画面，识别视频中的发声主体和动作场景，如节奏感强烈的音乐瞬间或电影中的紧张情节，营造身临其境的真实体验。
音效类型区分：系统能够智能区分动作音效与环境音效，显著提升视频的叙事性和情感传递效果。
多种视频长度支持：SeedFoley支持可变长度的视频输入，在音效的准确性、同步性和匹配度等方面均达到领先水平。

SeedFoley的技术原理

视频编码器：SeedFoley的视频编码器结合快慢特征提取技术，在高帧率下获取局部信息，在低帧率下提取视频语义信息。这一方法使得模型在低计算资源下实现8fps的帧级视频特征提取，进行精细的动作定位。最后，通过Transformer结构融合快慢特征，实现视频时空特征的提取。
音频表征模型：与传统基于梅尔频谱的VAE模型不同，SeedFoley使用原始波形作为输入，编码后得到一维表征。音频采用32k的采样率，确保高频信息的保留。每秒音频提取32个潜在表征，提升时序上的分辨率，增强音效的细腻程度。
扩散模型：SeedFoley采用Diffusion Transformer框架，优化概率路径上的连续映射关系，实现从高斯噪声分布到目标音频表征空间的概率匹配。与传统扩散模型依赖马尔可夫链采样不同，SeedFoley通过构建连续变换路径，有效减少推理步骤，降低推理成本。在训练过程中，将视频特征与音频语义标签分别编码为隐空间向量，通过通道维度拼接与时间编码及噪声信号混合，形成联合条件输入，提升音效与视频画面在时序上的一致性。

如何使用SeedFoley

访问即梦平台：前往即梦的官方网站或使用即梦应用，注册并登录账户。
生成视频：在即梦平台选择视频生成功能，根据需求生成视频内容。
选择「AI音效」功能：生成视频后，选择「AI音效」功能，系统将自动为您的视频生成三个专业级音效方案。
预览与选择音效方案：预览生成的音效方案，选择最适合您视频内容的音效。
应用音效：将选定的音效方案应用到您的视频中。
注意事项：
- 视频长度：SeedFoley支持可变长度的视频输入，但建议视频长度不要过长，以确保生成效果。
- 音效类型：系统智能区分动作音效与环境音效，提升视频的叙事性和情感传递效果。
- 预览效果：选择音效方案时，建议仔细预览每个方案的效果，以选择最适合您视频内容的音效。