Poetry2Image

Poetry2Image – 专为中文古诗词图像生成设计的迭代校正框架

Poetry2Image是什么

Poetry2Image是哈尔滨工业大学研发的一种创新性框架，旨在为中文古诗词的图像生成提供迭代校正的解决方案。该框架通过自动化的反馈与校正循环，增进了诗歌与图像之间的协调性，能够有效捕捉到诗词的深层语义和艺术魅力。Poetry2Image成功解决了文本到图像生成模型在处理中文古典诗歌时常见的关键元素缺失与语义混淆的问题。与五种流行的图像生成模型结合使用时，系统实现了平均70.63%的元素完整性和80.09%的语义一致性。

Poetry2Image的主要功能

• 自动化反馈与校正：通过外部诗歌数据集，Poetry2Image建立了自动化的反馈与校正机制，显著提高了诗歌与图像的对齐度，提升生成图像的质量与准确性。
• 减少人工干预：该框架降低了传统方法中需要的人工干预和专业知识要求，使得图像生成过程更加高效便捷。
• 提升效率与质量：相对于传统微调方法，Poetry2Image在保持图像质量的同时，大幅度降低了训练所需的时间和成本。
• 搜索与翻译功能：系统能够在诗歌数据库中检索用户提供的古诗，找到其现代汉语翻译及相关赏析。
• 生成初步图像：依据诗歌的现代汉语翻译，系统会生成一幅初步的图像。
• 提取关键元素：系统运用大型语言模型识别并提取诗歌中的关键元素。
• 图像修正：系统会检查生成的图像是否包含所有关键元素，并在必要时给出修改建议，例如添加缺失元素或调整元素位置。
• 迭代优化：若图像中的元素不完整或不准确，系统将根据建议重新生成图像，此过程会不断重复，直至图像能准确反映诗歌的意境。

Poetry2Image的技术原理

• 图像元素识别与校正：基于开放词汇检测器（OVD）识别图像中的元素信息，并通过大型语言模型（LLM）提供修改建议，指导图像编辑模型对初始图像进行调整。
• 兼容性与训练成本：Poetry2Image对用于初始图像生成的文本到图像生成模型没有限制，且迭代校正操作消除了额外的训练成本，同时自动化的图像生成与反馈过程大幅减少了手动标注的需求。

Poetry2Image的项目地址

• Github仓库：https://github.com/prajwalppv/Poetry2Image
• arXiv技术论文：https://arxiv.org/pdf/2407.06196v1

Poetry2Image的应用场景

• 古诗词文化传播：通过生成与古诗词意境相契合的图像，Poetry2Image有助于推动古诗词文化的传播，使传统文化以更生动的形式被现代人理解与欣赏。
• 艺术创作辅助：为艺术家和设计师在创作过程中提供支持，快速生成与古诗词相匹配的视觉元素，激发灵感与素材。
• 教育与学习：在教育领域，Poetry2Image可作为教学工具，帮助学生更深入地理解并记忆古诗词，通过图像与诗词的结合，增强学习体验。
• 图像生成技术研究：Poetry2Image为研究人员提供了一个平台，以探索和改进文本到图像生成技术，特别是在处理具有丰富文化内涵和复杂语义的中文古诗词时。