​丢掉注意力的扩散模型:Mamba带火的SSM被苹果、康奈尔盯上了

AIGC动态12个月前发布 机器之心
93 0 0

​丢掉注意力的扩散模型:Mamba带火的SSM被苹果、康奈尔盯上了

AIGC动态欢迎阅读

原标题:​丢掉注意力的扩散模型:Mamba带火的SSM被苹果、康奈尔盯上了

关键字:模型,架构,注意力,图像,序列

文章来源:机器之心

内容字数:6975字

内容摘要:机器之心报道机器之心编辑部替代注意力机制,SSM 真的大有可为?为了用更少的算力让扩散模型生成高分辨率图像,注意力机制可以不要,这是康奈尔大学和苹果的一项最新研究所给出的结论。众所周知,注意力机制是 Transformer 架构的核心组件,对于高质量的文本、图像生成都至关重要。但它的缺陷也很明显,即计算复杂度会随着序列长度的增加呈现二次方增长。这在长文本、高分辨率的图像处理中都是一个令人头疼的问题。为了解决这个问题,这项新研究用一个可扩展性更强的状态空间模型(SSM)主干替代了传统架构中的注意力机制,开发出了一个名为 Diffusion State Space Model(DIFFUSSM)的新架构。这种新架构可以使用更少的算力,媲美或超越具有注意力模块的现有扩散模型的图像生成效果,出色地生成高分辨率图像。得益于上周的发布,状态空间模型 SSM 正受到越来越多的关注。Mamba 的核心在于…

原文链接:点此阅读原文:​丢掉注意力的扩散模型:Mamba带火的SSM被苹果、康奈尔盯上了

联系作者

文章来源:机器之心

作者微信:almosthuman2014

作者简介:专业的人工智能媒体和产业服务平台

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...