5秒完成3D生成，真香合成数据集已开源，上交港中文新框架超越Instant3D

AIGC动态欢迎阅读

原标题：5秒完成3D生成，真香合成数据集已开源，上交港中文新框架超越Instant3D
关键字：视图,数据,模型,图像,质量
文章来源：量子位
内容字数：0字

内容摘要：

陈林投稿自凹非寺量子位 | 公众号 QbitAI使用大模型合成的数据，就能显著提升3D生成能力？
来自上海交大、香港中文大学等团队还真做到了。
他们推出Bootstrap3D框架，结合微调的具备3D感知能力的多模态大模型。这个框架能够自动生成任意数量的高质量的多视角图片数据，助力多视图扩散模型的训练。
结果表明，新的合成数据能够显著提高现有3D生成模型的生成物体的美学质量和文本prompt的控制能力。
目前，Bootstrap3D的数据集已经全面开源。
用大模型合成数据近年来，3D内容生成技术迎来了飞速发展。然而，相对于2D图片生成，生成高质量的3D物体仍面临诸多挑战。
其中核心的瓶颈即在于3D数据，尤其是高质量数据的不足。
为了解决这一问题，研究团队推出Bootstrap3D框架，通过自动生成多视图图像数据来解决3D内容生成中高质量数据不足的问题。
具体来说，这个框架采用了2D和视频扩散模型来生成多视图图像，并利用一个经过微调的3D多模态大模型对生成的数据进行质量筛选和描述重写。
通过这种方式，Bootstrap3D能够自动产生大量高质量的3D图像数据，从而“自举”出一个足够大的

原文链接：5秒完成3D生成，真香合成数据集已开源，上交港中文新框架超越Instant3D