史上最快3D数字人生成器:半小时完成训练,渲染仅需16毫秒,苹果出品

AIGC动态1年前 (2023)发布 量子位
14 0 0

史上最快3D数字人生成器:半小时完成训练,渲染仅需16毫秒,苹果出品

AIGC动态欢迎阅读

原标题:史上最快3D数字人生成器:半小时完成训练,渲染仅需16毫秒,苹果出品
关键字:斑点,数字,场景,人物,神经网络
文章来源:量子位
内容字数:3570字

内容摘要:


克雷西 发自 凹非寺量子位 | 公众号 QbitAI之前要两天才能训练好的数字人,现在只用半小时就能完成了!
到了推理阶段,更是只要16毫秒,就能得到动作流畅、细节到位的场景视频。
而且无需复杂的采样和建模,只要随便拍一段50-100帧的视频就足够了,换算成时间不过几秒钟。
这正是由苹果联合德国马普所推出的,基于高斯函数的3D数字人合成工具HUGS。
它可以从一段简单的视频当中提取出人物骨骼,从而合成数字分身并驱动它做出任意动作。
这个数字人可以丝滑地融合到其他场景,甚至帧率还能超越原始素材,达到60FPS。
Hugging Face的“首席羊驼官”Omar Sanseviero看到后,也给HUGS送上了hug。
那么,HUGS可以实现怎样的效果呢?
100倍速生成60FPS视频从下面这张动图可以看出,新生成的数字人可以在不同于训练素材的场景中做出不同的动作。
而新合成的画面也比原始素材更加流畅——尽管原素材只有24FPS,但HUGS合成的视频帧率达到了60FPS。
同时,HUGS也支持把多个人物融合进同一个场景。
细节刻画上,HUGS也比Neuman和Vid2Avatar这两个前SO


原文链接:史上最快3D数字人生成器:半小时完成训练,渲染仅需16毫秒,苹果出品

联系作者

文章来源:量子位
作者微信:QbitAI
作者简介:追踪人工智能新趋势,关注科技行业新突破

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...