WorldCraft

WorldCraft – 港科大推出的3D虚拟世界创建和定制系统

WorldCraft是什么

WorldCraft是由香港科技大学研发的一款基于大型语言模型（LLM）代理的3D世界构建与定制系统，旨在帮助用户创建和个性化逼真的3D虚拟环境。通过自然语言交互，用户能够轻松生成复杂的室内外场景，并对场景中的物体和布局进行精细的调整。WorldCraft包括三个主要模块：ForgeIt用于单个物体的定制，采用程序化生成技术实现几何形状和纹理的精准控制；ArrangeIt负责场景布局的生成，利用分层数值优化方法在功能与美学之间取得平衡；轨迹控制模块则支持用户通过对话指令控制物体和相机轨迹，从而生成动画和视频。WorldCraft兼容现有深度3D生成器，能丰富场景资产，使非专业用户也能高效实现创意设计。

WorldCraft的主要功能

• 自然语言交互：用户通过简单的文本指令或对话形式创建和定制复杂的3D场景，无需具备3D建模的专业技能。
• 单个物体定制：用户可以精确控制物体的几何形状、纹理和材质，实现个性化的设计。
• 场景布局生成：根据用户的设计意图（例如功能性与美观要求），智能生成合理的物体布局。
• 场景动画控制：用户可利用自然语言描述物体或相机的轨迹，生成流畅的动画和视频。
• 兼容性与扩展性：系统支持与现有深度3D生成器（如Infinigen）结合，为场景增加艺术化的物体和细节，提升视觉效果。

WorldCraft的技术原理

• 协调代理（Coordinator Agent）：负责管理整个3D场景的生成过程，将复杂任务分解为多个子任务，并协调其他模块完成这些任务，支持用户与系统的多轮交互，以实时调整生成结果。
• 单个物体生成与定制：通过LLM代理操作程序化生成器（如Infinigen），用户可用自然语言指令生成具有精准几何形状和PBR纹理的3D物体。系统建立动态更新的手册，指导代理完成复杂生成任务，并支持多轮对话编辑。
• 场景布局优化：将场景布局问题转化为分层数值优化问题，利用模拟退火算法来寻找最优布局。用户可以用自然语言描述布局需求，从而将设计意图转化为优化目标和约束条件。
• 轨迹控制模块：基于ChatCam扩展，允许用户用自然语言描述物体或相机的轨迹，将这些描述转化为具体的命令，以实现场景动画的生成。
• 深度3D生成器集成：系统与现有的深度3D生成器兼容，丰富艺术化物体和场景细节。通过程序化生成与深度生成的结合，提升场景的视觉质量与多样性。

WorldCraft的项目地址

• arXiv技术论文：https://arxiv.org/pdf/2502.15601

WorldCraft的应用场景

• 建筑设计与室内设计：快速生成建筑概念模型和虚拟样板间，基于自然语言定制室内布局与风格，优化设计流程，提高客户体验。
• 影视与娱乐：构建虚拟电影场景、游戏关卡及动画电影中的复杂场景，降低实景搭建成本，为虚拟现实（VR）和增强现实（AR）体验提供高度真实的虚拟环境。
• 教育与培训：设计虚拟实验室、历史场景、地理环境和医疗培训场景，利用沉浸式体验增强学习效果，支持远程教育与专业技能培训。
• 产品设计与展示：快速生成产品概念模型与虚拟展厅，展示家具、汽车、电子设备等产品的设计，支持个性化定制和虚拟广告场景的创建。
• 文化与艺术：创建虚拟博物馆、艺术展览、历史建筑及文化节日场景，重现文化遗产，为艺术创作与文化体验提供沉浸式空间。

常见问题

• WorldCraft是否易于上手？是的，WorldCraft通过自然语言交互使得用户无需具备专业技能即可轻松创建3D场景。
• 我可以使用WorldCraft进行商业项目吗？是的，WorldCraft支持商业用途，允许用户利用其功能进行各种项目开发。
• WorldCraft的兼容性如何？WorldCraft与现有的深度3D生成器兼容，能够与多种工具和平台无缝集成。