Faster Diffusion | 深入挖掘UNet编码器作用，加速41%采样速度，效果几乎不下降

AIGC动态欢迎阅读

原标题：Faster Diffusion | 深入挖掘UNet编码器作用，加速41%采样速度，效果几乎不下降
关键字：编码器,时间,解码器,步长,特征
文章来源：算法邦
内容字数：5047字

内容摘要：

直播预告 | 今晚7点，「AI新青年讲座」232讲正式开讲，清华大学在读博士刘世隆主讲《LLaVA-Plus：学习使用视觉工具插件的多模态智能体》，欢迎扫码报名。https://arxiv.org/pdf/2312.09608.pdfhttps://github.com/hutaiHang/Faster-Diffusion
扩散模型中的一个关键组件是用于噪声预测的UNet。虽然一些工作已经探索了UNet解码器的基本属性，但其编码器在很大程度上仍未被探索。
我们首次对UNet编码器进行了全面的研究。就其在推理过程中的变化等重要问题提供了不一样的发现：我们发现编码器特征平缓地变化，而解码器特征在不同的时间步长上表现出实质性的变化。这种发现启发了我们忽略某些相邻时间步长的编码器，并循环地将先前时间步长中的编码器特征重新用于解码器。
进一步基于这一观察，我们介绍了一种简单而有效的编码器传播方案，以加速针对不同任务集的扩散采样。受益于我们的传播方案，我们能够在某些相邻的时间步长并行地执行解码器。
此外，我们引入了一种先验噪声注入方法来改善生成图像中的纹理细节。
除了标准的文本到图像任务外，我们还

原文链接：Faster Diffusion | 深入挖掘UNet编码器作用，加速41%采样速度，效果几乎不下降

联系作者

文章来源：算法邦
作者微信：allplusai
作者简介：「算法邦」，隶属于智猩猩，关注大模型、生成式AI、计算机视觉三大领域的研究与开发，提供技术文章、讲座、在线研讨会。