ACE-Step

ACE-Step – ACE Studio联合阶跃星辰开源的音乐生成基础模型

ACE-Step 是由 ACE Studio 和 StepFun 联合开发的一个开源音乐生成基础模型，旨在通过其创新的架构设计，实现高效、连贯且可控的音乐创作。这一模型结合了扩散模型、深度压缩自编码器（DCAE）和轻量级线性变换器，使得生成高质量音乐的速度比传统的大型语言模型快 15 倍。ACE-Step 支持多样化的音乐风格、语言及可控性功能，为音乐创作者提供了强大的工具，适合快速生成音乐，并可作为多种音乐创作子任务的基础模型，助力音乐人、制作人及内容创作者实现高效创作。

什么是ACE-Step

ACE-Step是一个由ACE Studio与StepFun联合推出的开源音乐生成基础模型。凭借创新的架构设计，ACE-Step实现了高效、连贯且可控的音乐创作。它结合了扩散模型、深度压缩自编码器（DCAE）和轻量级线性变换器，能够在短时间内生成高质量音乐作品，速度比传统的LLM（大型语言模型）快15倍。ACE-Step支持多种音乐风格和语言的生成，提供强大的音乐创作工具，适合快速生成音乐，并在多种音乐创作子任务中发挥基础模型的作用，帮助音乐创作者和制作人高效完成创作。

ACE-Step的主要功能

• 快速合成：在极短的时间内生成高质量音乐，例如，在A100 GPU上仅需20秒即可生成4分钟的音乐。
• 多样化风格：支持多种流行音乐风格（如流行、摇滚、电子、爵士等）及多种语言的歌词生成。
• 变体生成：可调整噪声比例，生成不同的音乐变体，提供多样化的选择。
• 重绘功能：能够对特定部分进行重新生成，修改风格、歌词或人声，同时保留其他元素。
• 歌词编辑：允许对生成的音乐进行局部歌词修改，而不影响旋律和伴奏。
• 多语言支持：支持19种语言，其中英语、中文、俄语、西班牙语、日语等10种语言表现尤为突出。
• Lyric2Vocal：基于LoRA微调，从歌词中直接生声音频。
• Text2Samples：生成音乐样本和循环，帮助制作人快速创建乐器循环和音效。

ACE-Step的技术原理

• 扩散模型（Diffusion Model）：通过逐步去除噪声来生成数据，ACE-Step在传统扩散模型在长结构连贯性上的不足方面进行了创新性设计，以快速合成音乐。
• 深度压缩自编码器：DCAE用于高效的数据压缩和解压，保留音乐的细致音频特征，降低计算资源的消耗。
• 轻量级线性变换器：处理音乐序列信息，确保生成的音乐在旋律、和声和节奏上具备连贯性。
• 语义对齐：通过MERT（Music Embedding Representation）和m-hubert技术，ACE-Step在训练中对齐语义表示（REPA），实现快速收敛和高质量生成效果。
• 训练优化：基于语义对齐和优化技术，ACE-Step能够在短时间内生成高质量音乐，保持生成速度与连贯性之间的平衡。

ACE-Step的官方网站

• 项目官网：https://ace-step.github.io/
• GitHub仓库：https://github.com/ace-step/ACE-Step
• HuggingFace模型库：https://huggingface.co/ACE-Step/ACE-Step-v1-3.5B
• 在线体验Demo：https://huggingface.co/spaces/ACE-Step/ACE-Step

ACE-Step的应用场景

• 音乐创作：快速生成旋律和歌词，激发创作灵感。
• 人声生成：从歌词直接生声音频，适合制作人声演示。
• 音乐制作：生成乐器循环和音效，提供丰富的创作素材。
• 多语言支持：适合跨语言的音乐创作。
• 音乐教育：作为教学工具，帮助学习者掌握音乐创作技能。

常见问题

• ACE-Step支持哪些音乐风格？：ACE-Step支持多种主流音乐风格，包括流行、摇滚、电子、爵士等。
• 生成音乐的速度有多快？：在A100 GPU上，ACE-Step能够在20秒内生成4分钟的音乐。
• ACE-Step是否支持多语言歌词生成？：是的，ACE-Step支持19种语言的歌词生成。
• 可以对生成的音乐进行修改吗？：可以，ACE-Step提供了重绘和歌词编辑功能，允许对特定部分进行修改。