字节AI版小李子一开口：黄风岭，八百里

AIGC动态欢迎阅读

原标题：字节AI版小李子一开口：黄风岭，八百里
关键字：特征,音频,图像,模块,视频
文章来源：量子位
内容字数：0字

内容摘要：

叨乐发自凹非寺量子位 | 公众号 QbitAI字节和浙大联合研发的项目Loopy火了！
只需一帧图像，一段音频，就能生成一段非常自然的视频！
研究团队还放出了Loopy和同类应用的对比视频：
网友下场齐夸夸：
Loopy背后的技术有点牛哦！感觉互动媒体有新未来了！
前途无量奥！
真这么牛？咱们一起来看一下！
Loopy的生成效果研究团队放出了一些DEMO视频，内容脑洞跨度有点大！
比如让小李子唱《黑神话》灵吉菩萨的陕北说书（高音时还会皱眉）：
让兵马俑满口英伦腔：
蒙娜丽莎张口说话：
梅梅自带Bgm说古装台词（甚至还有挑眉的小动作）：
狼叔的侧颜照也难不倒它：
叹息声的细节也能处理得很好：
真人肖像的效果也很自然（甚至说话时眼睛还会顺势看向其他方向）：
Loopy如何“告别割裂感”？看完这些毫无违和感DEMO视频，咱们来研究一下Loopy是如何生成这类视频的：
总的来说，Loopy是一个端到端的音频驱动视频生成模型。
它的框架可以由四部分构成，分别是：
ReferenceNet：一个额外的网络模块，它复制了原始SD U-Net的结构，以参考图像的潜在表示作为输入，来提取参考图像的特