Sora场景转「3D资产」！浙大CAD&CG全重实验室提出文本转3D新SOTA：多功能、可拓展

AIGC动态欢迎阅读

原标题：Sora场景转「3D资产」！浙大CAD&CG全重实验室提出文本转3D新SOTA：多功能、可拓展
关键字：场景,模型,表征,数据,视频
文章来源：新智元
内容字数：14695字

内容摘要：

新智元报道编辑：LRS
【新智元导读】3D-SceneDreamer采用基于Stable Diffusion的Inpainting模型来对不断对场景未见区域进行补全，并通过单目深度方法来辅助优化场景的三维结构，对于未见视角利用扩散模型的自然图像先验来引导视图修复。在这个数字化飞速发展的时代，我们的生活被越来越多的3D内容所包围，从电影中令人惊叹的特效到游戏中栩栩如生的场景，再到虚拟现实中的沉浸体验，这一切都离不开背后复杂的3D场景建模/生成技术。
然而传统的3D创作工具，如InfiGen和Blender，虽然功能强大，但它们通常需要专业的建模技能和大量的手工操作，这不仅耗时而且往往效率低下。
为了促进3D场景的创造，并减少对专业技能的需求，我们迫切需要一种直观、多功能且可控性强的3D场景生成工具。
近期，OpenAI发布的视频生成模型Sora在社交媒体上广受关注。通过超大规模训练，Sora能够生成展现连贯三维空间的视频，并精准模拟物体间的物理互动。
此外，它还能确保视频中物体的空间一致性，即便在复杂场景变换中也能维持正确的相对位置和轨迹，展示了相当惊艳的效果。
然而通过视频生

原文链接：Sora场景转「3D资产」！浙大CAD&CG全重实验室提出文本转3D新SOTA：多功能、可拓展