SANA 1.5

SANA 1.5 – 英伟联合MIT、清北等机构推出的文生图新框架

SANA 1.5是由英伟达与麻省理工学院、清华大学、北京大学等多家机构联合研发的一款新型高效线性扩散变换器，专门用于文本到图像的生成任务。这一版本在SANA 1.0的基础上进行了多项改进，具备三大核心创新：高效的训练扩展、模型深度剪枝和推理时扩展。

SANA 1.5是什么

SANA 1.5是英伟达与麻省理工学院、清华大学、北京大学等多家机构合作推出的新一代高效线性扩散变换器，主要用于实现文本到图像的生成。相比于SANA 1.0，该版本在性能上进行了显著提升，提出了三项重要创新：通过深度增长范式将模型参数从16亿扩展至48亿，显著降低了计算资源的需求；采用模型深度剪枝技术，通过分析块的重要性，对模型进行高效压缩，灵活调整模型规模以适应不同的计算预算；在推理阶段，通过重复采样和基于视觉语言模型（VLM）的选择机制，使得小型模型在推理时能够达到大型模型的质量。

SANA 1.5的主要功能

• 高效训练扩展：通过深度增长范式，SANA 1.5能够将模型参数从16亿扩展至48亿，极大地减少了所需的计算资源。
• 模型深度剪枝：本版本引入了基于块重要性分析的模型压缩技术，能够在最小化质量损失的情况下，将大型模型灵活压缩到任意规模。通过分析输入输出的相似性模式，剪除不重要的块，并通过微调快速恢复质量。
• 推理时扩展：SANA 1.5提出的推理时扩展策略，通过生成多个样本并利用VLM选择最佳输出，使得小模型在推理时能够实现大模型的质量。
• 多语言支持：支持多种语言的文本输入，包括中文、英文及表情符号，适合全球化内容创作和本地化设计需求。
• 开源与社区支持：SANA 1.5的源代码和预训练模型已开源，研究人员和开发者可以进行定制和扩展，进一步推动其在学术和工业应用中的普及。
• 推理效率：通过CAME-8bit优化器，SANA 1.5能够在单个消费级GPU上高效地进行大规模模型微调，使高质量图像生成变得更加高效和易于实现。

SANA 1.5的性能测试

• 模型增长（Model Growth）：SANA 1.5通过模型增长策略实现了从16亿参数扩展至48亿参数，GenEval分数从0.66提升至0.72，接近行业领先的Playground v3（24亿参数）的0.76，并且推理延迟降低了5.5倍。
• 模型剪枝（Model Pruning）：通过深度剪枝，SANA 1.5能够根据不同计算预算灵活调整模型大小。例如，将48亿参数模型剪枝至16亿参数后，经过100步微调，GenEval分数达到了0.672，超过了SANA 1.0 16亿参数模型的0.664。
• 推理时扩展（Inference Scaling）：通过生成多个样本并基于VLM选择最佳样本，SANA 1.5的GenEval分数从0.72提升至0.80，超越了Playground v3的0.76。

SANA 1.5的项目地址

• arXiv技术论文：https://arxiv.org/pdf/2501.18427

SANA 1.5的应用场景

• 创意设计：SANA 1.5能够根据文本提示生成高质量图像，适合用于广告设计、插画创作、游戏美术等创意领域。
• 教学辅助：教师可利用SANA 1.5生成与课程相关的图像，帮助学生更好地理解抽象概念。
• 影视制作：在影视制作中，SANA 1.5能够生成概念艺术、场景设计图等，助力导演和美术指导快速构思和验证创意。
• 工程设计：工程师可以借助SANA 1.5生成工程设计的视觉效果图，帮助团队更好地理解设计意图并优化设计方案。
• 移动应用：得益于模型深度剪枝和推理时扩展，SANA 1.5可以高效运行于移动设备上，为移动应用提供实时图像生成功能。
• 内容审核：结合安全检查模型（如ShieldGemma-2B），SANA 1.5能够在生成图像之前对用户输入的文本进行审核，确保生成的内容符合安全标准，避免生成不当内容。