SRPO

SRPO – 腾讯混元推出的文生图模型

核心观点： SRPO（Semantic Relative Preference Optimization）是腾讯混元推出的创新文本到图像生成模型，通过将奖励信号转化为文本条件信号，实现了对生成过程的在线、动态调整，大幅降低了对离线奖励微调的依赖。其核心技术Direct-Align能够有效避免后期时间步的过度优化，显著提升生成图像的真实感和审美质量，同时训练效率极高，仅需10分钟即可完成优化。

SRPO：革新文本到图像生成的新范式

SRPO，即Semantic Relative Preference Optimization，是腾讯混元在文本到图像生成领域的一项突破性成果。它颠覆了传统的奖励模型微调模式，将奖励信号巧妙地设计为文本条件信号，从而实现了对生成过程的实时、在线调整。这意味着用户可以根据文本提示即时引导模型的生成方向，而不必进行耗时的离线微调，极大地提升了模型的灵活性和响应速度。

SRPO的创新之处与核心功能

SRPO引入了名为Direct-Align的尖端技术，该技术通过预先设定的噪声先验，能够从任何噪声水平直接恢复原始图像。这一机制有效地规避了扩散模型在后期时间步中常见的过度优化陷阱，防止模型生成看似符合奖励但实际质量堪忧的图像。在FLUX.1.dev模型上的实验结果斐然，SRPO显著提升了生成图像在人类评估中的真实感和美学吸引力，并且训练效率惊人，优化过程仅需短短10分钟即可完成。

SRPO的主要功能体现在以下几个方面：

• 质的飞跃： 显著提升生成图像的整体质量，使其在逼真度、细节表现力和艺术审美方面都达到了新的高度。
• 即时反馈： 支持用户通过文本提示动态调整奖励信号，实时改变图像的风格和用户偏好，实现“所想即所得”的生成体验。
• 高度适应性： 使扩散模型能够更精准地契合不同的任务需求和人类的个性化偏好，例如在光照、风格或细节层次上进行精细化优化。
• 效能倍增： 通过优化扩散过程的早期阶段，SRPO极大地提高了训练效率，使得模型的优化和训练能在极短的时间内完成。

SRPO背后的技术引擎

SRPO的强大能力源于其独特的技术架构：

• Direct-Align技术： 在训练过程中，SRPO向干净图像注入高斯噪声，并利用单步去噪操作来恢复原始图像。这种方法巧妙地避免了扩散模型后期时间步的过度优化问题，有效遏制了“奖励黑客”行为，即模型利用奖励模型的漏洞生成低质量图像。SRPO能够在早期时间步进行优化，这不仅提高了训练效率，也保证了生成质量。
• 语义化相对偏好优化： SRPO将奖励信号转化为文本条件信号，通过正负提示词对来精细化调整奖励。模型通过计算正负提示词对的奖励差异来指导优化过程。SRPO允许在训练过程中动态调整这些信号，使模型能够根据不同的任务需求实时调整其生成策略。
• 奖励聚合框架： 为了增强优化的鲁棒性，SRPO在训练中会多次注入噪声，生成一系列中间图像。对每个中间图像进行去噪和恢复操作后，利用衰减折扣因子对中间奖励进行聚合。这一机制有效减少了后期时间步的奖励黑客行为，从而提升了最终生成图像的整体质量。

SRPO的探索之旅：项目链接

如果您对SRPO的技术细节和应用感兴趣，可以访问以下资源：

• 项目官网： https://tencent.github.io/srpo-project-page/
• GitHub仓库： https://github.com/Tencent-Hunyuan/SRPO
• HuggingFace模型库： https://huggingface.co/tencent/SRPO
• arXiv技术论文： https://arxiv.org/pdf/2509.06942v2

SRPO的广阔应用前景

SRPO的创新能力使其在多个领域展现出巨大的应用潜力：

• 数字艺术创作： 艺术家和设计师能够借助SRPO快速生成高质量数字艺术作品，通过文本提示实现风格的动态调整，加速从概念到成品的迭代过程。
• 广告与营销： 广告公司可以利用SRPO生成符合品牌调性和市场定位的图像，快速产出多样化的设计方案，显著提升创意产出效率。
• 游戏开发： 游戏开发者能够使用SRPO创作精美的游戏纹理、角色设计和场景背景，为游戏注入更丰富的视觉元素，提升玩家的沉浸式体验。
• 影视制作： 在影视后期制作中，SRPO可以用于生成逼真的特效场景、背景和角色，有效缩短制作周期，降低成本。
• 虚拟与增强现实： SRPO生成的逼真虚拟环境和物体，将极大地增强VR/AR应用的真实感和沉浸感，为用户带来更丰富、更具吸引力的体验。