无需3D数据也能训练，港科&港中文联手华为推出3D自动驾驶场景生成模型

AIGC动态欢迎阅读

原标题：无需3D数据也能训练，港科&港中文联手华为推出3D自动驾驶场景生成模型
关键字：场景,华为,视角,数据,方法
文章来源：量子位
内容字数：0字

内容摘要：

允中发自凹非寺量子位 | 公众号 QbitAI无需采集3D数据，也能训练出高质量的3D自动驾驶场景生成模型。
这是来自香港中文大学、香港科技大学和华为诺亚方舟实验室的最新研究成果——针对自动驾驶街景的可控3D场景生成方法“MagicDrive3D”。
此前，采用常见的2D自动驾驶数据集来生成3D街景的方法不是没有，但受采集角度所限，生成结果的可控性和几何一致性无法同时满足。而现在，MagicDrive3D通过结合可控生成与场景重建解决了这一限制。
不仅支持多条件控制，还突破了原始数据的局限，即使在原始图像不一致的情况下，也能建立出连贯的高质量模型。
即使场景中有很多物体，生成结果依然真实可靠：
而且支持天气情况的文本控制，可以一键从晴天切换到雨天：
道路结构、物置都能够精确控制（随机保留50%车）：
还可以一键实现白天与夜晚的转换（随机保留25%车）：
总之，这项成果解决了自动驾驶等无边界场景下3D场景的高质量模型开发难题，可以有效帮助BEV分割等下游感知任务。
常规驾驶数据即可实现可控场景生成3D自动驾驶场景生成应用广阔，然而目前3D资产的生成方法通常局限于以物体为中心的生成

原文链接：无需3D数据也能训练，港科&港中文联手华为推出3D自动驾驶场景生成模型