规模小、效率高：DeepMind推出多模态解决方案Mirasol 3B

AIGC动态欢迎阅读

原标题：规模小、效率高：DeepMind推出多模态解决方案Mirasol 3B

关键字：视频,模型,音频,组件,表征

文章来源：机器之心

内容字数：3607字

内容摘要：机器之心报道机器之心编辑部性能优于规模更大的模型。多模态学习面临的主要挑战之一是需要融合文本、音频、视频等异构的模态，多模态模型需要组合不同来源的信号。然而，这些模态具有不同的特征，很难通过单一模型来组合。例如，视频和文本具有不同的采样率。最近，来自 Google DeepMind 的研究团队将多模态模型解耦成多个的、专门的自回归模型，根据各种模态的特征来处理输入。具体来说，该研究提出了多模态模型 Mirasol3B。Mirasol3B 由时间同步模态（音频和视频）自回归组件，以及用于上下文模态的自回归组件组成。这些模态不一定在时间上对齐，但是按顺序排列的。论文地址：https://arxiv.org/abs/2311.05698Mirasol3B 在多模态基准测试中达到了 SOTA 水平，优于规模更大的模型。通过学习更紧凑的表征，控制音频 – 视频特征表征的序列长度，并根据时间对应关…

原文链接：点此阅读原文：规模小、效率高：DeepMind推出多模态解决方案Mirasol 3B

联系作者

文章来源：机器之心

作者微信：almosthuman2014

作者简介：专业的人工智能媒体和产业服务平台