AIGC动态欢迎阅读
原标题:规模小、效率高:DeepMind推出多模态解决方案Mirasol 3B
文章来源:机器之心
内容字数:3607字
内容摘要:机器之心报道机器之心编辑部性能优于规模更大的模型。多模态学习面临的主要挑战之一是需要融合文本、音频、视频等异构的模态,多模态模型需要组合不同来源的信号。然而,这些模态具有不同的特征,很难通过单一模型来组合。例如,视频和文本具有不同的采样率。最近,来自 Google DeepMind 的研究团队将多模态模型解耦成多个独立的、专门的自回归模型,根据各种模态的特征来处理输入。具体来说,该研究提出了多模态模型 Mirasol3B。Mirasol3B 由时间同步模态(音频和视频)自回归组件,以及用于上下文模态的自回归组件组成。这些模态不一定在时间上对齐,但是按顺序排列的。论文地址:https://arxiv.org/abs/2311.05698Mirasol3B 在多模态基准测试中达到了 SOTA 水平,优于规模更大的模型。通过学习更紧凑的表征,控制音频 – 视频特征表征的序列长度,并根据时间对应关…
原文链接:点此阅读原文:规模小、效率高:DeepMind推出多模态解决方案Mirasol 3B
联系作者
文章来源:机器之心
作者微信:almosthuman2014
作者简介:专业的人工智能媒体和产业服务平台
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...