规模小、效率高:DeepMind推出多模态解决方案Mirasol 3B

AIGC动态11个月前发布 机器之心
17 0 0

规模小、效率高:DeepMind推出多模态解决方案Mirasol 3B

AIGC动态欢迎阅读

原标题:规模小、效率高:DeepMind推出多模态解决方案Mirasol 3B

关键字:视频,模型,音频,组件,表征

文章来源:机器之心

内容字数:3607字

内容摘要:机器之心报道机器之心编辑部性能优于规模更大的模型。多模态学习面临的主要挑战之一是需要融合文本、音频、视频等异构的模态,多模态模型需要组合不同来源的信号。然而,这些模态具有不同的特征,很难通过单一模型来组合。例如,视频和文本具有不同的采样率。最近,来自 Google DeepMind 的研究团队将多模态模型解耦成多个独立的、专门的自回归模型,根据各种模态的特征来处理输入。具体来说,该研究提出了多模态模型 Mirasol3B。Mirasol3B 由时间同步模态(音频和视频)自回归组件,以及用于上下文模态的自回归组件组成。这些模态不一定在时间上对齐,但是按顺序排列的。论文地址:https://arxiv.org/abs/2311.05698Mirasol3B 在多模态基准测试中达到了 SOTA 水平,优于规模更大的模型。通过学习更紧凑的表征,控制音频 – 视频特征表征的序列长度,并根据时间对应关…

原文链接:点此阅读原文:规模小、效率高:DeepMind推出多模态解决方案Mirasol 3B

联系作者

文章来源:机器之心

作者微信:almosthuman2014

作者简介:专业的人工智能媒体和产业服务平台

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...