谁将替代 Transformer？

AIGC动态欢迎阅读

原标题：谁将替代 Transformer？
关键字：模型,架构,序列,长度,天花板
文章来源：AI科技评论
内容字数：12610字

内容摘要：

非 Transformer 面临的共同考验依然是证明自己的天花板有多高。作者丨张进
编辑丨陈彩娴
2017年谷歌发表的论文《Attention Is All You Need》成为当下人工智能的一篇，此后席卷全球的人工智能热潮都可以直接追溯到 Transformer 的发明。
Transformer 由于其处理局部和长程依赖关系的能力以及可并行化训练的特点，一经问世，逐步取代了过去的 RNN（循环神经网络）与 CNN（卷积神经网络），成为 NLP（自然语言处理）前沿研究的标准范式。
今天主流的 AI 模型和产品——OpenAI 的ChatGPT、谷歌的 Bard、Anthropic 的 Claude，Midjourney、Sora到国内智谱 AI 的 ChatGLM 大模型、百川智能的 Baichuan 大模型、Kimi chat 等等——都是基于Transformer 架构。
Transformer 已然代表了当今人工智能技术无可争议的黄金标准，其主导地位至今无人能撼动。
在Transformer 大行其道的同时，出现了一些反对的声音，如：“Transformer 的效率并不高”

原文链接：谁将替代 Transformer？