GigaTok

GigaTok – 港大联合字节推出用于自回归图像生成的视觉分词器

GigaTok 是一种先进的视觉分词器，专为自回归图像生成设计，拥有高达 30 亿的参数量。其独特之处在于采用语义正则化技术，将分词器特征与预训练视觉编码器（如 DINOv2）的语义特征进行对齐。这一创新方法有效地限制了潜在空间的复杂度，成功解决了在扩展过程中重建质量与生成质量之间的矛盾。

GigaTok是什么

GigaTok 是一种用于自回归图像生成的视觉分词器，其参数规模达到 30 亿。通过引入语义正则化技术，GigaTok 有效对齐了分词器特征与预训练视觉编码器（如 DINOv2）的语义特征，从而有效约束了潜在空间的复杂性，解决了视觉分词器在扩展时面临的重建质量与生成质量之间的挑战。此外，GigaTok 采用了一维分词器架构，显著提高了可扩展性，优先扩展解码器以更高效地分配计算资源，并引入熵损失来稳定大规模模型的训练过程。

GigaTok的主要功能

卓越的图像重建能力：GigaTok 将视觉分词器扩展至 30 亿参数的规模，显著提升了图像重建的质量。通过语义正则化技术，分词器特征与预训练视觉编码器的语义特征对齐，有效避免了潜在空间复杂度的过高。
增强下游生成效果：在下游自回归生成任务中，GigaTok 显示出了优异的表现，成功解决了传统方法中重建质量与生成质量的矛盾。借助语义正则化和优化扩展策略，GigaTok 在生成任务中实现了更加出色的质量和泛化能力。
优化表示学习：GigaTok 通过扩展视觉分词器规模及结合语义正则化，显著提升了下游自回归模型的表示学习效果。实验结果表明，使用 GigaTok 训练的模型在进行线性探测时准确率有显著提高。
创新扩展策略：GigaTok 提出了具有一维分词器架构的创新设计，相比于传统的二维分词器，其可扩展性更为出色。优先扩展解码器，并引入熵损失以确保大规模模型训练的稳定性。

GigaTok的技术原理

混合架构设计：GigaTok 结合了卷积神经网络（CNN）和 Transformer 的混合架构，达到高效特征提取和潜在空间编码的目的。编码部分通过 CNN 块逐步下采样图像，随后利用 Transformer 层和向量量化器生成离散的潜在编码。解码器则利用 Transformer 层和 CNN 解码器将潜在编码重建为图像，支持一维（1D）和二维（2D）分词器，其中 1D 分词器在扩展性方面表现更为优越。
语义正则化：为了解决分词器扩展时潜在空间复杂性过高的问题，GigaTok 引入了语义正则化技术。通过将分词器的特征与预训练视觉编码器的语义特征进行对齐，约束潜在空间的复杂性。具体实现上，通过对比学习框架，确保分词器中间特征与预训练模型的语义空间一致，从而在扩展模型规模时保持生成质量。
非对称扩展策略：在扩展编码器和解码器时，GigaTok 优先扩展解码器，以更高效地分配计算资源，避免因编码器过于复杂而导致潜在空间失控。
熵损失：GigaTok 通过引入熵损失来稳定大规模分词器的训练，鼓励更高的码本使用率，确保模型在训练过程中保持稳定，避免因复杂度增加而导致的训练崩溃。

GigaTok的项目地址

项目官网：https://silentview.github.io/GigaTok/
Github仓库：https://github.com/SilentView/GigaTok
arXiv技术论文：https://arxiv.org/pdf/2504.08736

GigaTok的应用场景

图像生成与合成：GigaTok 在自回归图像生成领域表现卓越，能够生成高质量图像，适用于艺术创作、游戏开发、虚拟现实等多个领域，帮助用户快速生成符合需求的图像内容。
图像编辑与增强：GigaTok 可用于图像编辑任务，例如将前景物体无缝融合到背景图像中，提高整体视觉效果。
数据增强与预训练：凭借其高效的图像分词和重建能力，GigaTok 能为机器学习模型提供优质的预训练数据。
多模态学习：GigaTok 的语义正则化技术使其能够与文本生成模型相结合，实现文本到图像的生成。因此，其多模态能力在智能创作、虚拟助手等领域展现出广阔的应用前景。
医学图像处理：GigaTok 的高保真图像重建能力可广泛应用于医学图像的生成与处理，例如生成高质量的医学影像以用于诊断或研究。