ViiTorVoice

ViiTorVoice – 云上曲率推出的 AI 语音合成模型

ViiTorVoice，由云上曲率倾力打造，是全球首款创新性地支持局部编辑的AI语音合成模型，其卓越性能已荣登Seed-TTS权威评测榜首。该模型采用了NAR（非自回归）架构，赋予了用户“像编辑Word文档一样修改语音”的强大能力。这意味着您可以精准地替换音频中的特定词语或片段，而无需担心对整体音色、节奏和情感造成丝毫改变。

ViiTorVoice的独特之处

ViiTorVoice不仅在局部编辑上独树一帜，还带来了多项颠覆性功能。它能够实现无文本跨语种语音克隆，仅需一段纯音频，即可提取并迁移音色。同时，它还具备情绪的精细化控制能力，并支持60毫秒超低延迟的推理速度。令人振奋的是，其拥有10亿参数的模型已正式开源。

ViiTorVoice的核心亮点

• 精细化片段编辑：能够精准定位并替换音频中的任意词语或片段，确保其他部分的原有音色、节奏和情感不受影响。
• 零样本语音克隆：无需任何文本辅助，即可实现跨语言的音色迁移，只需上传一段纯净音频即可完成音色提取。
• 情感与语气的深度掌控：通过插入特殊的标记（Token），可以实现对词语级别的情感表达进行精准控制，并引入CFG技术进一步增强情感的丰富度。
• 极致的推理速度：端到端首帧生成时间低于60毫秒，远超行业平均水平，实现高效的实时处理。
• 多语言的广泛支持：能够生成中文、英文、日文、韩文等多种语言的内容。

您可以通过微信搜索并关注“开源”，即可加入AI开源项目交流群，获取更多前沿资讯。

如何体验ViiTorVoice

• 在线Demo体验：请访问Hugging Face提供的在线体验地址（https://huggingface.co/spaces/ZzWater/ViiTorVoice）。
• 功能模式选择：在页面顶部，您可以在「Voice Edit」（局部编辑）和「Voice Clone」（语音克隆）标签之间切换。
• 上传原始音频：将您需要进行编辑或克隆的原始音频文件，直接拖拽至左侧的「Source Audio」上传区域。
• 输入文本指令：在编辑框中，输入原始文本以及您期望修改后的目标文本，系统将自动识别并定位需要修改的差异片段。
• 添加情感标记：若要实现情感的精确控制，请在文本中嵌入特殊标记（例如 <laugh> 表示笑声，<sigh> 表示叹气），以指示副语言信息。
• 调整生成参数：根据您的需求，设置推理步数（可选4步或8步）等参数，然后点击生成按钮，等待模型完成处理。
• 预览并下载：在右侧的「Edited Audio」区域，您可以试听生成的效果，确认满意后，点击下载按钮将音频保存至本地。

ViiTorVoice的突出优势

• 全球领先的评测表现：在Seed-TTS英文评测中，词错率（WER）仅为1.32，中文评测中更是低至0.99，SIM-o和UTMOS等关键指标均遥遥领先。
• 性的局部编辑技术：作为行业内唯一支持片段级定向编辑的模型，它彻底解决了传统TTS技术在修改词语时需要整段重录的繁琐问题。
• 无文本依赖的语音克隆：无需精确的文本转录，即可实现跨语言的音色迁移，极大地便利了小语种场景的应用。
• 闪电般的推理速度：首帧延迟低于60毫秒，远超行业内普遍存在的150-200毫秒水平，带来前所未有的流畅体验。

ViiTorVoice的项目入口

• GitHub代码库：https://github.com/viitor-ai/viitor-voice-nar
• HuggingFace模型中心：https://huggingface.co/ZzWater/ViiTorVoice-NAR

ViiTorVoice与竞品深度对比

ViiTorVoice的广泛应用场景

• 影视后期制作：无需演员重返录音棚，导演即可在非线性编辑界面实时替换对白，并保持原有的音色和呼吸节奏，极大地提升了制作效率。
• 有声书与播客制作：当录制过程现口误或专有名词错误时，只需局部修改几秒钟的音频，即可避免重录整章，将后期修复时间从数天缩短至几十分钟。
• 短剧本地化出海：无需重新招募配音演员，直接在原始录音上替换特定词汇，即可快速生成多语言版本，每一种语言的听感都如同原生配音。
• 广告营销内容优化：当广告文案中的产品名称或Slogan需要临时调整时，可以直接局部替换音频片段，同时保留品牌原有的音色风格和情感感染力。
• 游戏本地化配音：实现跨语言角色的语音快速克隆，只需提供角色原声音频，即可生成多语种（中、英、日、韩等）的配音内容。