PPTAgent

PPTAgent – 中科院推出的自动生成高质量演示文稿框架

PPTAgent是什么

PPTAgent是由中国科学院软件研究所中文信息处理实验室推出的一款创新框架，它采用模仿人类工作流程的两阶段编辑方法，能够自动将文档转化为高质量的演示文稿。该系统分析参考演示文稿，从中提取结构和内容模式，并通过代码动作草拟大纲、生成幻灯片，确保内容的连贯性和一致性。PPTAgent依托于大型语言模型（LLM）的强大功能，将演示文稿生成过程细分为迭代编辑的工作流程，从而提升了生成文稿的适应性和连贯性，同时更有效地解决复杂格式问题。此外，PPTAgent还引入了PPT Eval评估框架，能够从内容、设计和连贯性三个维度全面评估生成的演示文稿质量，为未来的研究提供重要的见解和资源。

PPTAgent

PPTAgent的主要功能

分析参考演示文稿：深入理解其结构与内容模式。
草拟大纲：根据分析结果，制定详细的演示文稿大纲。
生成幻灯片：通过代码动作将大纲转化为具体的幻灯片内容，确保内容一致性和对齐。
编辑与修正：提供反馈机制，对生成的幻灯片进行编辑和自我修正，以提升文稿质量。
综合评估：基于PPT Eval框架，从内容、设计和连贯性三个方面评估生成的演示文稿质量。

PPTAgent的技术原理

第一阶段：演示文稿分析
- 幻灯片聚类：
  - 将幻灯片分为支持演示文稿结构的幻灯片（如开场幻灯片）和传达特定内容的幻灯片（如项目符号幻灯片）。
  - 利用不同的聚类算法，基于文本或视觉特征对幻灯片进行聚类。对于结构幻灯片，利用LLM推测每个幻灯片的功能角色；对于内容幻灯片，采用层次聚类方法基于图像相似性进行聚类。
- 模式提取：
  - 进一步分析幻灯片的内容模式，以确保编辑的目的明确。
  - 利用LLM的情境感知能力，提取多样化的内容模式。每个元素通过类别、模态和内容进行表示，基于LLM的指令遵循和结构化输出能力提取每个幻灯片的模式。
第二阶段：演示文稿生成
- 大纲生成：
  - 指导LLM创建包含多个条目的结构化大纲。每个条目指明参考幻灯片、相关文档部分索引及新幻灯片的标题和描述。
  - 结合文档内容和参考演示文稿的语义信息，利用LLM的规划和总结能力，生成连贯且吸引人的大纲，指导后续生成过程。
- 幻灯片生成：
  - 在大纲的指导下，通过迭代编辑参考幻灯片生成新幻灯片。
  - 实施五个专门的API，支持LLM编辑、删除和复制文本元素，并编辑和删除视觉元素。
  - 将幻灯片从原始XML格式转换为HTML表示，使LLM更易于理解和操作。
  - LLM接收两种输入：基于部分索引的源文档文本和可用图像的标题。新幻灯片内容依据内容模式生成。
  - LLM利用生成的内容、参考幻灯片的HTML表示和API文档，执行可操作的编辑动作。在REPL环境中执行，系统在执行过程中检测错误并提供实时反馈，LLM基于中间结果迭代优化编辑动作，从而增强生成过程的稳健性。