GenMAC：多代理协作框架推动本到视频生成技术的创与应用

GenMAC是什么

GenMAC是由香港大学、清华大学和微软研究院联合开发的一个多代理协作迭代框架，旨在解决复杂的本到视频生成问题。该框架将生成任务划分为设计、生成和重设计三个阶段，通过在生成与重设计之间构建迭代循环，逐步验证和优化最终视频内容。在重设计阶段，任务进一步细分为验证、建议、修正和输出结构化四个子任务，由特定的代理按顺序执行，利用自适应自路由机制选择最适合当前场景的代理，从而实现更加精准的视频生成。

GenMAC的主要功能

• 本到视频生成：能够根据复杂的本提示生成视频，处理多对象、属性绑定、时间变化和对象间交互等场景。
• 迭代工作流程：采用迭代的方法，包括设计、生成和重设计三个阶段，以及它们之间的迭代循环，逐步完善视频内容。
• 多代理协作：框架使用多个专门化的MLLM（多模态大型语言模型）代理，每个代理负责特定的子任务，实现集体智能。
• 任务分解：重设计阶段被细分为验证、建议、修正和输出结构化四个子任务，由不同的代理依序执行。
• 自适应自路由机制：GenMAC的设计包括自适应自路由机制，根据不同的生成场景选择最合适的代理进行修正。
• 提升场景准确性与本对齐：通过多代理的协作和迭代优化，大幅提高视频场景的准确性，并确保与本提示的高度一致。

GenMAC的技术原理

• 任务分解与角色专业化：将复杂的视频生成任务分解为简单的子任务，并为每个子任务分配专门的代理，各代理承担特定角色和职责。
• 迭代循环：在生成与重设计阶段之间设置迭代循环，模型逐步验证和修正生成的视频，使其更符合本提示。
• 代理协作：
  • 验证代理：负责检查视频内容与本提示的对齐情况。
  • 建议代理：根据验证结果提出修正建议，选择适合的修正代理。
  • 修正代理：遵循建议调整视频的设计，如布局和指导比例。
• 输出结构化代理：将修正结果转换为结构化格式，为下一次迭代生成提供输入。
• 自适应自路由：根据特定的生成需求和场景，自适应地选择最合适的修正代理，以解决一致性、时间动态和间动态等问题。
• 跨阶段信息流：在设计、生成和重设计阶段之间，持续更和传递信息（如布局、指导比例和本提示），以实现更精准的视频生成。

GenMAC的项目地址

• 项目官网：karine-h.github.io/GenMAC
• GitHub仓库：https://github.com/Karine-Huang/GenMAC
• arXiv技术论：https://arxiv.org/pdf/2412.04440

GenMAC的应用场景

• 电影和视频制作：依据剧本或故事板生成视频片段，助力导演与制片人预览场景。
• 游戏开发：为游戏设计生成环境和动态场景的概念视频，支持游戏设计师的创作过程。
• 广告和营销：根据广告案快速生成视频广告，助力创意案转化为视觉内容，提高制作效率。
• 教育和培训：制作教育视频，将复杂理论或历史以视频形式呈现，增学习体验。
• 闻和媒体：根据闻稿自动生成闻视频，提高闻制作的效率与响应速度。

常见问题

• GenMAC支持哪些视频生成格式？：GenMAC支持多种视频格式，包括常见的MP4、AVI等，能够适应不同台的需求。
• 使用GenMAC需要什么样的硬件配置？：建议使用性能较的计算机，特别是在处理高分辨率视频时，以确保生成速度和质量。
• 如何获取GenMAC的技术支持？：用户可以通过项目官网或GitHub页面获取技术支持和使用指。