脑电合成自然语音！LeCun转发Nature子刊新成果，代码开源

AIGC动态欢迎阅读

原标题：脑电合成自然语音！LeCun转发Nature子刊新成果，代码开源
关键字：语音,因果,模型,神经,半球
文章来源：量子位
内容字数：8397字

内容摘要：

Xupeng 投稿量子位 | 公众号 QbitAI脑机接口最新进展登上Nature子刊，深度学习三巨头之一的LeCun都来转发。
这次是用神经信号进行语音合成，帮助因神经系统缺陷导致失语的人群重新获得交流的能力。
具体来说，来自纽约大学的研究团队开发了一个新型的可微分语音合成器，可以利用一个轻型的卷积神经网络将语音编码为一系列可解释的语音参数（如音高，响度，共振峰频率等），并通过可微分语音合成器重新合成语音。
通过将神经信号映射到这些语音参数，研究者构建了一个高度可解释且可应用于小数据量情形的神经语音解码系统，可生成听起来自然的语音。
研究人员共收集了48位受试者的数据并尝试进行语音解码，对未来的高准确度的脑机接口应用提供了验证。
结果表明，该框架能够处理高低不同空间采样密度，并且可以处理左、右半球的脑电信号，显示出了强大的语音解码潜力。
神经信号的语音解码，难！此前，马斯克的Neuralink公司已经在一位受试者脑内成功植入电极，可以完成简单的光标操控以实现打字等功能。
然而，神经-语音解码通常被认为复杂度更高。
开发神经-语音解码器和其他的高精度脑机接口模型的尝试大多数依赖于一种特

原文链接：脑电合成自然语音！LeCun转发Nature子刊新成果，代码开源