文生图新SOTA！Pika北大斯坦福联合推出RPG，多模态助力解决文生图两大难题

AIGC动态欢迎阅读

原标题：文生图新SOTA！Pika北大斯坦福联合推出RPG，多模态助力解决文生图两大难题
关键字：图像,区域,提示,模型,文本
文章来源：新智元
内容字数：4808字

内容摘要：

新智元报道编辑：alan
【新智元导读】近日，北大、斯坦福、以及Pika Labs发布了新的开源文生图框架，利用多模态LLM的能力成功解决文生图两大难题，表现超越SDXL和DALL·E 3近日，北大、斯坦福、以及爆火的Pika Labs联合发表了一项研究，将大模型文生图的能力提升到了新的高度。
论文地址：https://arxiv.org/pdf/2401.11708.pdf
代码地址：https://github.com/YangLing0818/RPG-DiffusionMaster
论文作者提出了一个全新的免训练文本到图像生成/编辑框架，利用多模态大语言模型（MLLM）强大的思维链推理能力，来增强文本到图像扩散模型的组合性。
简单来说，就是能让文生图模型在面对「多个属性和关系的多个对象的复杂文本提示」时表现更出色。
话不多说，直接上图：
A green twintail girl in orange dress is sitting on the sofa while a messy desk under a big window on the left, a lively a

原文链接：文生图新SOTA！Pika北大斯坦福联合推出RPG，多模态助力解决文生图两大难题