ComAct

ComAct – 上海AI Lab等推出软件自动化操作的研究范式

ComAct，一个名为“COM-as-Action”的革新性研究范式，由Jiaxin Ai及其团队提出，旨在彻底重塑专业软件的自动化操作方式。该范式将Windows组件对象模型（COM）视作一种通用的、可执行的抽象接口，从而将以往依赖脆弱的、易出错的顺序性视觉控制（GUI操作）的专业软件交互，转变为一种稳定、可靠的程序化合成模式。

ComAct的本质是什么

ComAct（COM-as-Action）是一种颠覆性的研究方，由Jiaxin Ai等人开创，它重新定义了专业软件自动化操作的格局。这一范式巧妙地将Windows的Component Object Model（COM）识别为一种统一的、可执行的抽象层。通过这种方式，它将原本脆弱、容易出错的、基于视觉顺序的软件交互，升华为一种确定性的程序合成过程。ComAct有效地解决了图形用户界面（GUI）驱动的智能体在执行长程任务时出现的错误累积问题，同时也克服了基于应用程序接口（API）的方法所面临的，因异构协议和闭源接口限制而产生的困境。

ComAct的核心能力

• COM-as-Action 范式革新：ComAct将专业软件的交互方式从易受干扰的、依赖视觉顺序的GUI控制，转化为一种确定的程序合成。它利用Windows COM接口作为统一的可执行抽象，直接调用软件内部的结构化编程接口，实现高效自动化。
• ComCADBench 基准测试平台：该项目构建了业界首个用于评估智能体操作真实工业CAD软件的基准测试集。该平台包含1000个精心设计的任务，覆盖了SolidWorks、Inventor、AutoCAD三大主流CAD软件，并涵盖了3D建模、2D草图绘制、装配设计、工程图生成等七项关键工程活动。
• ComActor 自主纠错智能体：ComActor智能体采用一种创新的三阶段渐进式训练框架。首先是文本到代码的监督微调（SFT），接着是基于多轮交互轨迹的智能体SFT，最后是基于连续几何奖励的GRPO强化学习。这一框架赋予智能体生成COM脚本、解析终端反馈、诊断并修正执行失败步骤的能力。
• ComForge 可扩展训练环境：ComForge是一个强大的训练平台，能够同时托管1000多个Docker化的Windows环境，并预装各类专业CAD软件。它支持code_execute（COM脚本执行）、gui_action（模拟鼠标键盘操作）和reset（环境重置）三种基础动作类型，为大规模并行训练和评估提供了坚实的基础。
• 跨应用工作流整合能力：COM作为一种通用的、语义化的编程接口，天然支持跨越多种专业软件（如Microsoft Office、Adobe套件、工业CAD软件等）的协同操作，能够编排复杂的自动化工作流。
• 长程任务的稳定执行：通过生成单一的、确定的脚本来替代成百上千个易出错的GUI操作，ComAct从根本上消除了长程任务中的错误累积。在长程多任务流水线中，ComAct能够保持超过80%的端到端任务成功率，显著优于传统的GUI驱动智能体。

ComAct的技术内核

• COM-as-Action 范式转变的核心：ComAct将Windows Component Object Model（COM）视为一种统一的可执行抽象。它将专业软件的交互方式从依赖像素定位的、脆弱的顺序性GUI操作，重新定义为一种确定的程序合成过程，直接通过结构化编程接口调用软件的内部功能。
• 验证过的指令-代码对数据构建流程：通过一套专门的数据构建流程，ComAct能够合成经过验证的指令与COM代码配对的语料库。这确保了训练数据的语法和语义的准确性，为监督微调提供了高质量的基础。
• 三阶段渐进式训练框架详解：
  • 第一阶段（文本到代码SFT）：在已验证的语料库上进行监督微调，使模型能够学习生成语确的COM脚本。
  • 第二阶段（Agentic SFT）：基于多轮交互轨迹以及屏幕截图或终端反馈进行迭代式调试训练，使智能体能够从执行失败中实现自我恢复。
  • 第三阶段（GRPO强化学习）：采用组相对策略优化（Group Relative Policy Optimization）算法，结合基于Chamfer Distance的连续几何奖励，直接优化任务级别的几何保真度，有效弥合“语确但几何不符”的执行差距。
• 自主纠错执行循环：智能体生成COM脚本后，会立即执行。然后，它会读取终端返回的错误信息（traceback）或执行结果，自主诊断错误原因，并重写失败的步骤，形成一个“生成-执行-反馈-修正”的闭环。
• ComForge可扩展基础设施：该训练平台基于Docker化的Windows容器构建，能够并发托管1000多个预装真实CAD软件的环境。它支持code_execute（COM脚本）、gui_action（鼠标/键盘操作）和reset（环境重置）三种动作类型，实现了大规模并行训练和评估。
• 跨应用统一动作空间：利用COM在语义对象层面工作的特性，ComAct将SolidWorks、AutoCAD、Inventor、Microsoft Office等不同专业软件的异构接口统一为一个标准化的可执行动作空间，从而天然支持跨应用的复杂工作流编排。

如何驾驭ComAct

• 环境部署（ComForge）：首先，部署Docker化的Windows容器环境，并在其中预装目标专业软件（例如SolidWorks、AutoCAD、Inventor）。ComForge平台支持1000多个并行实例的并发托管，可用于训练或评估。
• 输入任务指令：向ComActor智能体输入自然语言指令（例如“创建一个带圆角的立方体并生成其工程图”）。智能体将解析这些指令，转化为相应的COM操作目标。
• 生成COM脚本：ComActor利用其三阶段训练能力，自动生成语法有效的COM脚本（例如使用Python调用COM接口），直接操控软件的内部对象模型，而非模拟鼠标点击。
• 执行与反馈闭环：脚本将在ComForge环境中执行。智能体随后会读取终端返回的执行结果或错误信息（traceback），自主诊断问题，并重写失败的步骤，形成一个自校正的闭环。
• 结果验证与输出：任务完成后，智能体将输出最终生成的文件（如3D模型、工程图纸）。通过连续几何奖励机制（Chamfer Distance），其几何保真度也将得到验证。
• 跨应用工作流编排：利用COM的统一接口，可以串联多个专业软件来完成复杂的流水线任务。例如，在CAD中完成建模后导出，然后在Excel中生成物料清单（BOM）。

ComAct的独特优势

• 确定性程序合成取代脆弱视觉控制：ComAct将专业软件的交互方式从依赖像素定位的、易出错的顺序性GUI操作，转变为生成单一、确定的COM脚本。这从根本上消除了长程任务中的错误累积，避免了传统GUI驱动智能体“一步错、步步错”的级联失效风险。
• 统一可执行抽象，跨越异构接口：通过利用Windows COM作为统一的语义化编程接口，ComAct整合了SolidWorks、AutoCAD、Inventor、Microsoft Office等多种专业软件的异构协议，天然支持跨应用的复杂工作流编排。
• 闭源软件工具的局限性：COM接口在语义对象层面暴露了应用程序的内部功能。即使面对源代码不公开的商业软件，ComAct也能提供高保真的本地API级访问能力，从而突破了传统API驱动方法受限于不可访问商业接口的瓶颈。
• 长程任务鲁棒性显著提升：在长程多任务流水线中，ComAct能够保持超过80%的端到端任务成功率。相比之下，在ComCADBench基准测试中，传统的GUI驱动基线模型任务成功率接近0%，ComAct展现了极强的长程规划与执行韧性。
• 自主纠错与迭代调试能力：通过Agentic SFT训练，ComActor智能体具备了“生成-执行-读取traceback-诊断-重写”的闭环能力。它能够从COM脚本执行失败中自主恢复，无需人工干预。
• 直接优化几何保真度：在第三阶段的GRPO强化学习中，ComAct引入了基于Chamfer Distance的连续几何奖励，直接优化任务级别的几何精度，有效弥合了“语确但几何不符”的执行差距。

ComAct的应用领域

• 工业CAD自动化设计：在SolidWorks、AutoCAD、Inventor等真实工业CAD软件中，ComAct能够将自然语言指令自动转换为COM脚本执行。其应用范围覆盖3D建模、2D草图绘制、装配体设计、工程图生成、质量属性分析、干涉检测等全流程的工程活动。
• 长程多任务流水线编排：ComAct能够串联复杂的工程设计流水线任务，例如从概念建模到详细零件设计，再到装配验证、工程图输出以及BOM表生成。通过单一的确定性脚本，它替代了成百上千个易出错的顺序GUI操作，从而保持了端到端的高成功率。
• 跨应用协同工作流自动化：利用COM的统一接口，ComAct能够整合Microsoft Office（Excel、Word）、Adobe套件与工业CAD软件。例如，实现“CAD模型变更后自动更新Excel物料清单，并生成Word技术报告”的跨应用自动化流程。
• 设计验证与质量检测：ComAct能够自动执行干涉检测、几何尺寸验证、质量属性计算等分析任务。通过连续几何奖励机制，它确保了输出结果的几何保真度，从而辅助工程师快速排查设计冲突。
• 参数化批量建模：ComAct能够根据输入的参数，批量生成或修改标准化零件/装配体。这对于需要大量重复性建模任务的场景（如生成标准件库、系列产品变型设计）非常适用，能够显著提升设计效率。