清华新VLA框架：突破具身智能实验室瓶颈，LLM成本节省高达6倍！

代号DeeR-VLA，核心在于灵活的动态推理机制

原标题：清华新VLA框架加速具身智能止步实验室“魔咒”，LLM开销节省4-6倍 | NeurIPS'24
文章来源：量子位
内容字数：5195字

DeeR-VLA框架的创新与应用

清华大学研究团队提出的DeeR-VLA框架为解决多模态模型在计算与存储方面的挑战提供了新思路。该框架的设计灵感源于人类的决策过程，能够根据任务的复杂性动态调整模型的计算深度，从而显著降低大语言模型（LLM）的计算成本和内存使用。

1. 动态推理机制

DeeR-VLA通过引入多出口架构和特征池化方法，实现了灵活的动态推理。模型在处理任务时，可以根据复杂度选择性激活不同层级，避免不必要的计算浪费。实验表明，DeeR-VLA在CALVIN机器人操作基准测试中，LLM的计算成本减少了5.2-6.5倍，GPU内存消耗降低了2-6倍，同时保持了任务执行的性能。

2. 解决冗余问题

研究发现，许多简单的机器人任务实际上可以通过较小的模型完成，而使用大型多模态模型反而造成了计算资源的浪费。DeeR-VLA的设计实现了根据任务复杂性动态调整模型规模，使得在不影响性能的前提下最大化计算效率。

3. 关键技术组件

框架的关键技术组件包括多出口MLLM结构、特征池化方法和动作预测头设计。通过这些技术，模型能够在任务复杂度达到要求时提前停止计算，并生成高质量的特征和动作预测。这种设计使得DeeR-VLA能够在多种硬件环境下灵活适应，满足实时性需求。

4. 实验与验证

在CALVIN长Horizon多任务语言控制挑战（LH-MTLC）基准上，DeeR-VLA展现出优异的性能。在与其他最新方法比较中，它在任务成功率上保持竞争力的同时，显著减少了计算资源消耗。此外，DeeR-VLA的推理速度比RoboFlamingo++快68.1%，证明了其在实际应用中的高效性。

5. 结论与展望

DeeR-VLA框架的提出为多模态机器人的智能提升提供了新的方向，通过动态调整计算规模，研究团队希望在未来的机器人应用中实现更高的效能与更低的资源消耗。两位主要作者Yue Yang和王语霖在强化学习和多模态大模型领域的研究，将推动这一领域的进一步发展。

联系作者

文章来源：量子位
作者微信：
作者简介：追踪人工智能新趋势，关注科技行业新突破