GaussianCity

GaussianCity – 南洋理工大学 S-Lab 团队推出的 3D 城市生成框架

GaussianCity是什么

GaussianCity 是由南洋理工大学 S-Lab 团队开发的一款高效、无边界的3D城市生成框架，基于先进的3D高斯绘制（3D-GS）技术。该框架采用了紧凑的 BEV-Point 表示方法，确保在生成大规模场景时显存（VRAM）使用量保持在稳定水平，从而有效解决了传统方法在显存和存储需求上的瓶颈。GaussianCity 还引入了空间感知的 BEV-Point Decoder，利用点序列化器和点变换器来捕捉BEV点的结构与上下文特征，最终生成高质量的3D高斯属性。在无人机和街景视角的3D城市生成任务中，GaussianCity展现出了卓越的性能，相比于现有技术（如CityDreamer），其速度提升高达60倍，在生成效果和效率上都达到了新的高度。

GaussianCity的主要功能

• 高效生成大规模3D城市：能够快速创建逼真且无边界的城市环境，支持从无人机视角到街景视角的各类场景。
• 低显存和存储需求：通过紧凑的 BEV-Point 表示方法，确保显存和存储需求保持在较低水平，克服了传统方法在大规模场景生成中的显存瓶颈问题。
• 高质量视觉效果：利用空间感知的 BEV-Point Decoder，生成高细节和真实感的3D城市，支持风格化编辑和局部修改。
• 实时渲染与交互：支持实时渲染及用户交互，能够迅速生成高质量的3D城市图像，适合游戏、动画、虚拟现实等多种应用。

GaussianCity的技术原理

• 3D高斯绘制（3D-GS）：通过3D高斯分布来表示场景中的物体和结构，利用GPU加速渲染，实现高效的3D场景生成。
• BEV-Point 表示：将3D场景中的点信息分解为位置和风格属性，结合鸟瞰图（BEV）和风格查找表进行压缩，确保显存使用量不会随着场景规模的增长而增加。
• 空间感知的BEV-Point解码器：通过点序列化器和点变换器，捕捉BEV点的结构及上下文信息，生成3D高斯属性，实现高质量的3D场景渲染。
• 高效的渲染流程：结合位置编码器和调制MLP，生成3D高斯属性，通过高斯光栅化器将属性渲染为最终图像。

GaussianCity的项目地址

• GitHub仓库：https://github.com/hzxie/GaussianCity
• HuggingFace模型库：https://huggingface.co/spaces/hzxie/gaussian-city
• arXiv技术论文：https://arxiv.org/pdf/2406.06526

GaussianCity的应用场景

• 游戏与虚拟现实（VR）：迅速生成生动的虚拟城市，支持实时渲染与交互，从而降低开发成本和时间。
• 动画与影视制作：高效构建复杂城市场景，支持风格化渲染，显著提升制作效率。
• 城市规划与建筑设计：快速生成城市布局和建筑背景，辅助可视化规划与设计。
• 自动驾驶与交通模拟：创建逼真的交通场景，用于算法测试和交通流量分析。
• 地理信息系统（GIS）：将地理数据快速转化为3D可视化场景，支持城市建模与分析。

常见问题

• GaussianCity适合哪些行业使用？ GaussianCity广泛适用于游戏开发、虚拟现实、影视制作、城市规划等多个行业。
• 如何访问GaussianCity的源代码？ 您可以通过访问其GitHub仓库获取GaussianCity的源代码和相关文档。
• GaussianCity的性能如何？ GaussianCity在大规模场景生成上表现出色，速度相较于现有技术提升了60倍。
• 能否实时生成3D城市？ 是的，GaussianCity支持实时渲染，能够快速生成高质量的3D城市图像。