Llama模仿Diffusion多模态涨分30%！不卷数据不烧卡，只需共享注意力分布

代码/模型/训练数据全开源

原标题：Llama模仿Diffusion多模态涨分30%！不卷数据不烧卡，只需共享注意力分布
文章来源：量子位
内容字数：3008字

跨界学习：Stable Diffusion赋能多模态大模型，性能提升30%

近日，中国研究员联合DeepMind团队的研究成果《Lavender: Diffusion Instruction Tuning》引发关注。该研究巧妙地利用Stable Diffusion的图像生成能力，提升了多模态大模型（如Llama-3.2）的视觉理解能力，在多模态问答任务中取得了显著进展，性能提升高达30%。

1. 传统多模态模型的困境

传统的视觉语言模型（VLM）在处理视觉信息时常常面临诸多挑战：数据不足、容易过拟合、细节捕捉能力差等，导致其“视觉理解能力”欠佳。这就像一个考试前突击的“学渣”，难以取得好成绩。

2. Lavender：Stable Diffusion的“跨界教学”

为了解决这个问题，研究团队提出了一种创新的解决方案：借鉴Stable Diffusion的注意力机制，让它来“教”多模态大模型如何“看图说话”。这种“跨界教学”方法主要分为三步：

1. 拜师学艺：VLM通过轻量级对齐网络（Aligner）模仿Stable Diffusion的交叉注意力机制，学习其“看图”技巧。

2. 高效补课：仅使用13万样本（常规数据量的2.5%）和8块GPU进行一天的训练，实现了高效的模型优化，避免了大规模数据和算力的消耗。

3. 防偏科秘籍：利用LoRA技术，在保留原模型能力的基础上，针对性地提升模型在薄弱环节的性能，避免过拟合，增强模型的鲁棒性。

3. 显著的性能提升

实验结果表明，经过Lavender后的Llama-3.2在16项视觉-语言任务中均取得了显著的性能提升。即使在小模型赛道上，也超过了SOTA模型50%。更令人惊讶的是，在医学问答任务（WorldMedQA）中，性能提升甚至达到了68%，展现了其强大的泛化能力。

4. 核心技术亮点

Lavender的核心技术亮点在于：

1. 注意力对齐：利用MSE损失函数，将Stable Diffusion的高效注意力机制迁移到VLM中，提升视觉理解精度。

2. 知识蒸馏：无需海量标注数据，直接从图像生成模型中蒸馏视觉知识，实现了高效的小样本学习。

3. LoRA与注意力约束：利用LoRA技术避免过拟合，增强模型的鲁棒性，提升模型在分布外任务上的表现。

5. 开源与应用

该研究成果的代码、模型和训练数据均已开源，方便其他研究者进行复现和改进。Lavender的视觉理解能力在多种应用场景中得到了验证，例如表格和图表信息提取、复杂图形理解以及多语言问答等，展现了其强大的实用价值。

6. 未来展望

研究团队认为，高效、轻量的模型优化比无脑堆参数更有未来，Lavender的成功为多模态大模型的优化提供了新的思路和方法。

联系作者

文章来源：量子位
作者微信：
作者简介：追踪人工智能新趋势，关注科技行业新突破