北大林宙辰团队全新混合序列建模架构MixCon：性能远超Mamba

AIGC动态欢迎阅读

原标题：北大林宙辰团队全新混合序列建模架构MixCon：性能远超Mamba
关键字：序列,模型,注意力,令牌,吞吐量
文章来源：机器之心
内容字数：0字

内容摘要：

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com在自然语言处理、语音识别和时间序列分析等众多领域中，序列建模是一项至关重要的任务。然而，现有的模型在捕捉长程依赖关系和高效建模序列方面仍面临诸多挑战。
因此，北京大学林宙辰、徐鑫提出了一种全新混合序列建模架构 ——MixCon，它为解决这些难题带来了创新性的方案。经实验验证，其性能远超 Mixtral、Mamba 和 Jamba。论文已在 European Conference on Artificial Intelligence (ECAI) 2024 上发表。论文标题：MixCon: A Hybrid Architecture for Efficient and Adaptive Sequence Modeling
论文地址：https://zhouche

原文链接：北大林宙辰团队全新混合序列建模架构MixCon：性能远超Mamba