从任意模态到完美CAD模型：AI一键生成的未来设计

全球首个同时支持文本描述、图像、点云等多模态输入的计算机辅助设计（CAD）生成大模型。

原标题：文本、图像、点云任意模态输入，AI能够一键生成高质量CAD模型了
文章来源：机器之心
内容字数：4789字

多模态CAD生成大模型的创新研究

近年来，计算机辅助设计（CAD）技术在工业设计与制造领域扮演着重要角色。然而，传统CAD软件对专业知识的高要求限制了非专业用户的参与。为此，上海科技大学与忆生科技联合开展了一项创新研究，推出了名为CAD-MLLM的多模态CAD生成大模型，旨在降低使用门槛，提升设计效率。

1. 项目背景与目标

CAD软件普遍缺乏简易的交互工具，导致非专业用户难以尝试和探索设计。现有的多模态大模型技术尚未充分应用于CAD领域，因此项目团队的目标是开发一个统一框架，能够处理文本、图像和点云等多种输入，以实现高效的CAD生成。

2. Omni-CAD数据集的构建

为支持多模态CAD生成，团队构建了一个超过45万条数据的Omni-CAD数据集。该数据集包含CAD模型构造命令序列、文本描述、多个视角的图像以及点云数据，填补了CAD多模态数据资源的空白，为模型训练提供了坚实基础。

3. 技术创新点

本研究的主要技术创新包括：

（1）首次提出支持多模态输入的参数化CAD生成模型，能够同时处理文本、图像和点云数据。

（2）建立了全面的数据构造和标注管道，确保数据的多样性和准确性。

（3）创新性地提出四种量化评估指标，针对CAD模型的拓扑质量和空间封闭性进行评估，提供更全面的性能衡量标准。

4. 性能评估与结果

研究团队通过与多个基准工作进行比较，展示了CAD-MLLM在重建精度和拓扑完整性上的卓越表现。尤其是在处理带有噪声和缺失点云数据时，模型展现出良好的鲁棒性。此外，研究还强调了多模态数据训练对生成能力的提升作用，证明了结合多种输入能够弥补单一模态数据的不足。

5. 结论与展望

CAD-MLLM的成功开发不仅降低了非专业用户的使用门槛，还为CAD设计领域注入了新的活力。未来，研究团队将继续探索多模态模型在更广泛应用场景中的潜力，引领CAD技术的进一步发展。

联系作者

文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台