参数减少99.5%，媲美全精度FLUX！字节跳动等发布首个1.58-bit FLUX量化模型

首个1.58-bit FLUX量化模型。

原标题：参数减少99.5%，媲美全精度FLUX！字节跳动等发布首个1.58-bit FLUX量化模型
文章来源：智猩猩GenAI
内容字数：3874字

第四届全球自动驾驶峰会预告及1.58-bit FLUX模型技术解读

1月14日，第四届全球自动驾驶峰会将在北京举办，届时将举行开幕式、端到端自动驾驶创新论坛、城市NOA专题论坛以及自动驾驶视觉语言模型和自动驾驶世界模型两场技术研讨会。峰会演讲嘉宾已全部确定，完整议程将于下周公布。欢迎申请免费票或购票！

1. 峰会概览

本次峰会聚焦自动驾驶领域的前沿技术和发展趋势，涵盖了端到端自动驾驶、城市NOA以及相关的视觉语言模型和世界模型等重要议题。 峰会将邀请业内专家和学者进行深入探讨，为参会者提供一个学习和交流的平台。

2. 1.58-bit FLUX模型技术亮点

除了峰会信息，文章还重点介绍了1.58-bit FLUX模型，这是一个突破性的文本生成图像（T2I）模型量化技术。该模型解决了现有T2I模型（如DALLE 3、Stable Diffusion 3）参数量巨大、内存需求高等问题，使其难以在资源受限的设备上部署。

2.1 解决的问题

当前T2I模型参数量巨大，导致其在移动设备等资源有限的设备上部署困难。1.58-bit FLUX旨在通过极低比特量化来解决这个问题，降低存储和内存需求，同时提高推理效率。

2.2 技术方案

该方案采用FLUX.1-dev模型作为基础，运用后训练量化方法将其权重压缩至1.58-bit（值限制为{-1，0，+1}），无需访问图像数据。 同时，开发了针对低比特操作优化的定制化内核，进一步提升推理效率。 整个过程无需额外训练数据，实现了无监督量化。

2.3 技术优势

1.58-bit FLUX在存储效率和推理效率上取得了显著提升：模型存储需求减少7.7倍，推理内存使用减少超过5.1倍。 令人瞩目的是，在GenEval和T2I Compbench基准测试中，其生成质量与全精度FLUX基本持平，证明了该方法的有效性和实用性。

2.4 实验结果

实验使用了Parti-1k数据集和T2I CompBench训练集的提示语作为校准数据集进行量化，整个过程完全不依赖图像数据。 在GenEval和T2I CompBench验证集上进行评估，结果表明1.58-bit FLUX与全精度FLUX的性能相当。 在低性能GPU上，推理延迟改进更为显著。

2.5 局限性与未来展望

尽管取得了显著成果，1.58-bit FLUX仍然存在一些局限性。例如，由于缺乏激活值量化和更高级的内核优化，其延迟改进有限；在渲染超高分辨率细节方面，仍略逊于原始FLUX模型。研究团队计划在未来研究中解决这些问题，进一步提升模型性能。

3. 总结

1.58-bit FLUX模型的成功，为T2I模型在移动设备上的部署提供了新的可能性，也为自动驾驶领域视觉语言模型的轻量化发展提供了新的思路。 本次峰会将为业界人士提供一个深入探讨这些前沿技术的绝佳平台。

联系作者

文章来源：智猩猩GenAI
作者微信：
作者简介：智猩猩旗下公众号之一，深入关注大模型与AI智能体，及时搜罗生成式AI技术产品。