HART：自回归视觉生成模型推动图像生成的创新与精准

HART（Hybrid Autoregressive Transformer）是一款由麻省理工学院研究团队开发的先进自回归视觉生成模型。它能够直接生成1024×1024像素的高分辨率图像，其图像质量与扩散模型相媲美。HART采用混合Tokenizer技术，将自动编码器的连续潜在表示细分为离散token和连续token，其中离散token负责捕捉图像的主要结构，而连续token则专注于细节处理。其轻量级残差扩散模块仅需3700万参数，显著提升了计算效率。

HART是什么

HART（Hybrid Autoregressive Transformer）是麻省理工学院的研究团队推出的一种自回归视觉生成模型，能够生成1024×1024像素的高分辨率图像，质量与扩散模型相当。HART的核心在于混合Tokenizer技术，它将自动编码器的连续潜在表示分解为离散token和连续token，离散token负责捕捉图像的主要结构，而连续token则专注于细节部分。HART的轻量级残差扩散模块仅用3700万参数，大幅提升了计算效率。在MJHQ-30K数据集上，HART的重构FID从2.11降低至0.30，生成FID从7.85降至5.38，提升幅度达到31%。在吞吐量方面，相较于现有的扩散模型，HART提高了4.5-7.7倍，同时降低了6.9-13.4倍的MAC。

HART的主要功能

高分辨率图像生成：能够直接生成1024×1024像素的高分辨率图像，满足高质量视觉内容的需求。
图像质量提升：基于混合Tokenizer技术，HART在图像重建与生成质量上优于传统自回归模型，能够与扩散模型一较高下。
计算效率优化：在保证高图像质量的前提下，显著提高计算效率，降低训练成本与推理延迟。
自回归建模：通过自回归方法逐步生成图像，允许对生成过程进行更精细的控制。

HART的技术原理

混合Tokenizer：HART的核心技术在于混合Tokenizer，它将自动编码器的潜在表示分解为离散和连续token，前者用于捕捉图像主要结构，后者用于细节处理。
离散自回归模型：离散部分通过可扩展分辨率的自回归模型进行建模，支持在不同分辨率下生成图像。
轻量级残差扩散模块：连续部分由一个轻量级的残差扩散模块构成，该模块仅有3700万参数，极大地提高了模型效率。
效率与性能平衡：HART在FID和CLIP分数上优于现有扩散模型，在吞吐量上提高了4.5-7.7倍，同时MAC降低了6.9-13.4倍，实现了效率与性能的良好平衡。
自回归生成：HART采用自回归方法逐步生成图像，每一步都基于前一步的输出，从而支持逐步细化图像细节。