DiffSplat

DiffSplat – 北大联合字节推出的 3D 生成框架

DiffSplat是什么

DiffSplat是一种创新的3D生成技术，能够根据文本提示和单视图图像快速构建3D高斯点阵（Gaussian Splats）。这种方法通过对预训练的文本到图像扩散模型进行微调，利用强大的2D先验知识，并结合3D渲染损失，以确保生成的3D内容在不同视角下保持一致性。DiffSplat的显著特点在于其高效性和灵活性，用户可以在1到2秒内生成出高质量的3D对象，支持文本输入、图像输入或二者的结合。轻量级的重建模型则用于创建结构化的高斯表示，为训练提供了高质量的数据支持。

DiffSplat的主要功能

• 从文本或图像生成3D高斯点阵：DiffSplat能够直接从文本提示或单视图图像创建3D高斯点阵，确保3D内容的一致性。
• 高效利用2D先验知识：通过微调大规模的文本到图像扩散模型，DiffSplat有效利用网络规模的2D先验知识，同时引入3D渲染损失来保证生成内容在任何视角下的3D一致性。
• 支持多种条件输入：DiffSplat允许用户使用文本条件、图像条件或两者组合的输入，用户可以根据需求选择最适合的条件。
• 可控生成能力：DiffSplat可以结合ControlNet等技术，实现基于文本提示和多种格式（如法线图、深度图、Canny边缘图）的可控3D生成。

DiffSplat的技术原理

• 基于大规模预训练的文本到图像扩散模型：DiffSplat通过微调这些模型，直接生成3D高斯点阵（Gaussian Splats），有效利用网络规模的2D先验知识。
• 轻量级重建模型：为启动训练，DiffSplat提出了一种轻量级重建模型，可以快速生成多视图高斯点阵网格，以构建可扩展的数据集。
• 3D渲染损失：DiffSplat引入了3D渲染损失，确保生成的3D内容在任何视角下均保持一致性。

DiffSplat的项目地址

• 项目官网：https://chenguolin.github.io/projects/DiffSplat/
• GitHub仓库：https://github.com/chenguolin/DiffSplat
• arXiv技术论文：https://arxiv.org/pdf/2501.16764

DiffSplat的应用场景

• 3D内容创作：DiffSplat非常适合快速原型设计和内容创作，设计师可以利用DiffSplat迅速生成3D模型的初步版本，以便进行概念验证或后续的详细调整。
• 文本到3D生成：在文本条件下，DiffSplat在3D生成任务中表现出色，能够根据详细的文本描述创建相应的3D模型。
• 图像到3D重建：DiffSplat支持从单张图像生成3D模型，准确反映输入图像的形状和纹理，适用于影视特效、游戏开发等领域，能够从现有的图像资源中快速生成3D模型。
• 下游应用支持：DiffSplat生成的结果可以直接应用于多种下游应用，如3D打印、虚拟现实（VR）和增强现实（AR）等领域。