谁将取代 Transformer？

AIGC动态欢迎阅读

原标题：谁将取代 Transformer？
关键字：模型,架构,报告,序列,长度
文章来源：人工智能学家
内容字数：11972字

内容摘要：

来源：AI科技评论
作者：张进（ AI科技评论）
2017年谷歌发表的论文《Attention Is All You Need》成为当下人工智能的一篇，此后席卷全球的人工智能热潮都可以直接追溯到Transformer 的发明。
Transformer 由于其处理局部和长程依赖关系的能力以及可并行化训练的特点，一经问世，逐步取代了过去的 RNN（循环神经网络）与 CNN（卷积神经网络），成为 NLP（自然语言处理）前沿研究的标准范式。
今天主流的 AI 模型和产品——OpenAI 的ChatGPT、谷歌的 Bard、Anthropic 的 Claude，Midjourney、Sora到国内智谱 AI 的 ChatGLM 大模型、百川智能的 Baichuan 大模型、Kimi chat 等等——都是基于Transformer 架构。
Transformer 已然代表了当今人工智能技术无可争议的黄金标准，其主导地位至今无人能撼动。
在Transformer 大行其道的同时，出现了一些反对的声音，如：“Transformer 的效率并不高”；“Transformer 的天花板很容易窥见”；

原文链接：谁将取代 Transformer？