不用GAN不用扩散，无需训练解锁AI生图新境界！判别模型成神秘第三极

原标题：不用GAN不用扩散，无需训练解锁AI生图新境界！判别模型成神秘第三极
文章来源：新智元
内容字数：6275字

判别模型也能进行图像合成？DAS技术详解

传统认知中，判别模型用于图像分类和识别，生成模型用于图像合成。然而，一项名为“直接上升合成”（Direct Ascent Synthesis,DAS）的最新研究颠覆了这一认知，证明判别模型同样具备强大的图像生成能力。

1. DAS的核心思想

   DAS的核心在于挖掘判别模型中隐藏的生成知识。研究者发现，虽然将判别模型的嵌入向量反向映射回图像时，通常会得到无意义的噪声，但这实际上是一个机会。通过合适的优化方法，可以引导模型生成自然且有意义的图像。

2. 关键创新：多分辨率优化

   DAS的关键创新是多分辨率优化。它将图像分解为多个不同分辨率的组件进行同时优化，避免了传统方法直接在像素层面操作可能产生的高频噪声。低分辨率组件捕捉图像整体结构，高分辨率组件专注于细节，使生成的图像在语义上更加连贯。这种方法也提供了一种自然的正则化方式，避免优化过程出现退化。

3. 优化目标与技术细节

   DAS通过衡量生成图像与目标描述（如文本描述对应的嵌入向量）的CLIP嵌入相似度来进行优化。该优化过程同时处理多个分辨率的组件，梯度根据各尺度的重要性自然分布，抑制高频对抗模式。最终生成的图像功率谱遵循1/f²分布，与自然图像特征一致。

   为了提升生成质量和稳定性，DAS采用了数据增强（随机x-y位移和像素噪声）、独特的位移处理策略（扩大图像尺寸避免边界问题）以及模型集成（平均多个CLIP模型的梯度）等技术。

4. 框架扩展与应用

   DAS框架具有很强的扩展性，可以处理多目标向量，实现对生成图像的精细控制。它在风格迁移和重建任务中同样表现出色，即使经过大幅度维度压缩，也能保留图像的语义内容和风格元素。

5. 实验结果与分析

   实验结果表明，DAS在生成一致性、可控修改、重建保真度以及不同应用（如生成国旗、图像修复、风格迁移）中均表现出色。生成的图像具有高度的可靠性和语义一致性，能够实现精确的局部调整和全局场景转换，并有效地保留图像的语义和风格信息。

6. 结论

   DAS研究证明了判别模型在图像合成方面的巨大潜力，其多分辨率优化策略有效地解决了传统方法中存在的噪声和退化问题，为图像生成领域带来了新的方向。该方法在多个应用中展现了其通用性和高效性，为未来图像生成技术的发展提供了新的思路。

联系作者

文章来源：新智元
作者微信：
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人对人类社会与文明进化的影响，领航中国新智能时代。