单图就能解锁全景视角！北大/港中文/腾讯等推出ViewCrafter | 已开源

AIGC动态欢迎阅读

原标题：单图就能解锁全景视角！北大/港中文/腾讯等推出ViewCrafter | 已开源
关键字：新视角,腾讯,视角,视频,团队
文章来源：量子位
内容字数：0字

内容摘要：

ViewCrafter团队 投稿量子位 | 公众号 QbitAI随便给张图就能从更多视角查看全景了？！
话不多说，先看一波效果，单视角输入be like：难度升级，接下来换成双视角，看起来衔接也非常丝滑。以上来自ViewCrafter，由北大、港中文、腾讯等机构的研究人员提出，可以从单张或稀疏输入图像生成精确相机可控的新视角视频。
还支持场景级文生3D、图生3D、以及稀疏视角重建等应用。目前论文和代码均已开源，并提供了在线Huggingface demo供用户使用。
ViewCrafter：一种新视角生成方法传统的新视角生成方法，如NeRF和3D-GS等技术，存在一个痛点：
依赖于密集的多视角训练数据
这限制了它们在仅有稀疏（输入图像数量有限，不能提供完整视角或详尽场景信息）甚至单张输入视角的情况下的应用。
同时，传统方法对训练资源的需求较高，且不具备泛化能力，这限制了它们在训练资源受限场景下的应用。
因此，ViewCrafter最终想实现：
从稀疏视角图像甚至单张输入图像中生成任意规模场景的新视角。
这需要模型对3D物理世界有全面的理解。
接下来一起康康具体咋实现的。
概括而言，Vi

原文链接：单图就能解锁全景视角！北大/港中文/腾讯等推出ViewCrafter | 已开源

联系作者

文章来源：量子位
作者微信：
作者简介：