阿里音频生成大模型一次发俩还开源!50种语言快速理解+5种语言语音生成,带情感的那种

AIGC动态3个月前发布 量子位
16 0 0

阿里音频生成大模型一次发俩还开源!50种语言快速理解+5种语言语音生成,带情感的那种

AIGC动态欢迎阅读

原标题:阿里音频生成大模型一次发俩还开源!50种语言快速理解+5种语言语音生成,带情感的那种
关键字:语音,情感,模型,音频,事件
文章来源:量子位
内容字数:0字

内容摘要:


FunAudioLLM团队 投稿量子位 | 公众号 QbitAIOpenAI迟迟不上线GPT-4o语音助手,其它音频生成大模型成果倒是一波接着一波发布,关键还是开源的。
刚刚,阿里通义实验室也出手了——
最新发布开源语音大模型项目FunAudioLLM,而且一次包含两个模型:SenseVoice和CosyVoice。
SenseVoice专注高精度多语言语音识别、情感辨识和音频事件检测,支持超过50种语言识别,效果优于Whisper模型,中文与粤语提升50%以上。
且情感识别能力强,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件检测,多方面测试拿下SOTA。
CosyVoice则专注自然语音生成,支持多语言、音色和情感控制,支持中英日粤韩5种语言的生成,效果显著优于传统语音生成模型。
仅需要3~10s的原始音频,CosyVoice即可生成模拟音色,甚至包括韵律、情感等细节,包括跨语种语音生成。
而且CosyVoice支持以富文本或自然语言的形式,对生成语音的情感、韵律进行细粒度的控制,生音频在情感表现力上得到明显提升。
话不多说,具体来看FunAudioLLM的用途以及效


原文链接:阿里音频生成大模型一次发俩还开源!50种语言快速理解+5种语言语音生成,带情感的那种

联系作者

文章来源:量子位
作者微信:QbitAI
作者简介:追踪人工智能新趋势,关注科技行业新突破

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...