CVPR 2024 Highlight | 北航等发布「时间特征维护」：无需训练，极致压缩加速Diffusion

AIGC动态欢迎阅读

原标题：CVPR 2024 Highlight | 北航等发布「时间特征维护」：无需训练，极致压缩加速Diffusion
关键字：时间,特征,模型,精度,权重
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：LRST 好困
【新智元导读】拯救4bit扩散模型精度，仅需时间特征维护——以超低精度量化技术重塑图像内容生成！近日，北航、莫纳什、UT Austin联合推出了时间特征维护的扩散模型低精度无损量化方法TFMQ-DM。
不仅以4bit的权重大小实现了目前无损条件下最极限的扩散模型训练后压缩，同时还实现了超过2.38倍真实硬件加速。
这一发现再次将Diffusion压缩推向全新的高度。
目前，该工作已被CVPR 2024高分接收，并被接收为Highlight Poster (Top 2.8%)。论文地址：https://arxiv.org/pdf/2311.16503
代码地址：https://github.com/ModelTC/TFMQ-DM
扩散模型由于引入了时间变量t，于是在模型中注入了时序信息，这正是扩散模型不同于以往传统视觉模型的一大特征。
同时该变量也通过将时序特征融入模型去控制去噪过程。研究人员首次定义了时间特征emb，同时发现现有量化算法对于这些特征将产生严重扰动，从而破坏图片生成质量：
1. 时间特征扰动：研究人员发现量化导致了明显的时间特征误差，并将

原文链接：CVPR 2024 Highlight | 北航等发布「时间特征维护」：无需训练，极致压缩加速Diffusion

联系作者

文章来源：新智元
作者微信：AI_era
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。