MM-StoryAgent

MM-StoryAgent – 上海交大联合阿里开源的多智能体故事绘本视频生成框架

MM-StoryAgent 是一款由上海交通大学X-LANCE实验室与阿里巴巴集团联合开发的开源多模态、多智能体框架，旨在生成富有沉浸感的有声故事绘本视频。该产品结合了大型语言模型（LLMs）与多种生成工具（如文本、图像、音频），通过多阶段写作流程和模态特定的提示修订机制，显著提升故事的吸引力与沉浸体验。

MM-StoryAgent是什么

MM-StoryAgent 是由上海交通大学X-LANCE实验室与阿里巴巴集团共同推出的开源框架，专注于生成沉浸式有声故事绘本视频。该系统利用大型语言模型（LLMs）与多种模态的生成工具（如文本、图像和音频）相结合，采用多阶段的写作流程和针对特定模态的提示修订机制，从而提升故事的吸引力和沉浸感。框架具备灵活的模块化设计，允许用户替换不同的生成模型和API。MM-StoryAgent 的推出，为儿童故事书的自动创作提供了一种高效、灵活且富有表现力的解决方案，能够在图像、语音、音乐和音效之间实现更为优秀的对齐效果。

MM-StoryAgent的主要功能

• 高质量故事生成：通过多智能体协作和多阶段的创作流程，生成引人入胜、具教育意义且富有情感共鸣的故事内容。
• 多模态内容生成：融合文本、图像、语音、音乐及音效等多种模态，为用户提供丰富的沉浸式体验。
• 角色一致性：在图像生成中，通过角色提取和提示修订，确保故事角色在视觉上的一致性。
• 模态对齐：利用提示修订和对比学习模型，优化文本与图像、音频之间的对齐效果，提升整体故事的连贯性。
• 灵活的模块化设计：支持灵活地替换生成模块（如不同的文本生成模型、图像生成模型等），方便开发者根据需求进行定制和优化。

MM-StoryAgent的技术原理

• 多智能体协作架构：模拟业余作者与专家之间的对话，生成故事大纲和章节内容。这一对话过程模拟了人类的头脑风暴，为故事提供了更多创意和吸引力。同时，针对图像、音频等不同模态的需求，将文本故事转化为适合生成模型的提示内容，并通过“修订者-审核者”的多轮协作来提升提示的质量。
• 多模态生成技术：
  • 文本生成：基于大型语言模型（LLMs）创作故事文本。
  • 图像生成：应用扩散模型（如 StoryDiffusion）生成与故事内容相符的图像，并通过角色提取确保角色在多帧图像中的一致性。
  • 音频生成：使用文本到语音（TTS）模型生成旁白，同时利用 AudioLDM2 或 MusicGen 等模型生成音效和背景音乐。
  • 视频合成：将生成的图像、音频和文本内容合成，形成完整的有声故事视频。
• 模态对齐优化：借助对比学习模型（如 CLIP、CLAP）评估生成内容与文本之间的对齐程度，并通过提示修订机制优化生成效果。
• 模块化设计：框架支持灵活替换不同的生成模型和API，开发者可以根据需求选择更先进的模型以提升生成质量。

MM-StoryAgent的项目地址

• GitHub仓库：https://github.com/X-PLUG/MM_StoryAgent
• arXiv技术论文：https://arxiv.org/pdf/2503.05242
• 在线体验Demo：https://huggingface.co/spaces/wsntxxn/MM-StoryAgent

MM-StoryAgent的应用场景

• 儿童教育与娱乐：生成既有趣又富有教育意义的有声故事视频，陪伴儿童学习与成长。
• 数字内容创作：为内容创作者快速生成多模态故事内容，降低创作成本，提高效率。
• 在线教育：通过故事形式讲解知识，增强学习的趣味性。
• 多媒体出版：自动生成有声绘本，助力出版社迅速制作多媒体内容。
• 智能设备集成：应用于智能音箱、平板等设备，提供个性化的故事生成服务。

常见问题

• MM-StoryAgent是否免费使用？：是的，MM-StoryAgent是一个开源项目，用户可以使用和修改。
• 如何开始使用MM-StoryAgent？：用户可以访问GitHub仓库，获取相关文档和示例代码。
• 支持哪些模态的生成？：MM-StoryAgent支持文本、图像、音频等多种模态的生成。
• 可以定制生成内容吗？：是的，框架的模块化设计允许用户根据需求替换生成模型，实现个性化定制。