MagicClay：智能本驱动3D模型雕刻工具，轻松实现细节创作

MagicClay 是 Adobe 最推出的一款创3D建模工具，旨在通过结合网格和有向距离场（SDF）技术，为艺术家提供一种全的建模体验。用户可以基于本提示对3D模型的特定部分进行雕刻，同时保持其他区域的完整性。MagicClay 不仅支持生成具有纹理的三维模型，还允许艺术家进行非破坏性的局部编辑，使得3D建模过程更加直观和精细。

MagicClay是什么

MagicClay 是一款先进的3D建模工具，由 Adobe 开发，集成了网格和有向距离场（SDF）技术。它允许艺术家根据本提示来雕刻模型的特定区域，而不影响模型的其他部分。该工具支持创建具有丰富纹理的三维作品，并且能够进行非破坏性编辑，使得艺术家在进行调整和细化时更加灵活。MagicClay 将本到图像的生成能力转化为可实际应用的建模工具，极大地提升了创作效率。

MagicClay的主要功能

• 本驱动的3D雕刻：用户可以通过输入本提示，精准指导3D模型特定区域的雕刻，便于局部编辑。
• 混合表示技术：结合三角网格与有向距离场（SDF）的优势，提供直观的建模体验与拓扑灵活性。
• 非破坏性编辑：在编辑选定区域时，模型的其他部分保持不变，确保原始模型的完整性。
• 逐步编辑能力：支持对同一模型进行多次细致编辑，帮助艺术家逐步完善设计。
• 保留原始属性：编辑过程中保留模型的顶点组等原始属性，便于后续的动画处理。
• 高分辨率渲染：高效渲染SDF，实现细腻的体积渲染效果。

MagicClay的技术原理

• 混合网格与SDF表示：采用混合表示方法，同时利用三角网格和SDF，增了建模的直观性与灵活性。
• 一致性维护机制：在优化过程中，确保网格与SDF之间保持一致性，利用多视图一致性损失和自适应重构技术同步两者。
• 可微分渲染：通过可微分渲染技术，从不同视角渲染网格和SDF，确保RGB渲染、不透明度和法线图的一致性。
• 局部化与冻结损失：通过局部化损失和冻结损失，确保编辑只在用户选定的区域内进行，未选定区域保持不变。
• 格重建：利用可微分网格重建技术，如ROAR，实现网格拓扑的动态更，包括面分割、边折叠和边翻转。
• 表面滑与正则化：通过网格的显式表示定义滑项，利用Laplacian向量编码局部曲率变化，促进网格的滑性。
• SDF正则化：采用Eikonal损失等特定损失函数，鼓励SDF学习有效的距离场表示。

MagicClay的项目地址

• 项目官网：amirbarda.github.io/MagicClay.github.io
• GitHub仓库：https://github.com/amirbarda/MagicClay
• arXiv技术论：https://arxiv.org/pdf/2403.02460

MagicClay的应用场景

• 3D艺术创作：艺术家可以利用本提示快速实现创意构思，进行3D雕塑和模型创作，无需具备复杂的建模技能。
• 游戏开发：游戏设计师可以快速原型设计并迭代游戏角色、道具和环境，从而提高开发效率。
• 动画制作：在动画电影和电视制作中，MagicClay 帮助创建和修改复杂的3D角色和场景，同时保留动画所需的顶点权重和绑定。
• 虚拟现实（VR）和增现实（AR）：在VR和AR应用中，设计并优化虚拟对象和环境，以提供更丰富和动态的用户体验。
• 教育和培训：在教育域，MagicClay 可作为教学工具，帮助学生理解3D建模的基本概念，基于实践进行3D设计学习。