盛名一时的BERT哪去了？这个问题的答案昭示了LLM范式的转变

AIGC动态欢迎阅读

原标题：盛名一时的BERT哪去了？这个问题的答案昭示了LLM范式的转变
关键字：模型,编码器,解码器,目标,任务
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
编辑：Panda编码器模型哪去了？如果 BERT 效果好，那为什么不扩展它？编码器 – 解码器或仅编码器模型怎么样了？在大型语言模型（LLM）领域，现在是仅解码器模型（如 GPT 系列模型）独领的时代。那编码器 – 解码器或仅编码器模型发展如何呢？为什么曾经盛名一时的 BERT 却渐渐少有人关注了？
近日，AI 创业公司 Reka 的首席科学家和联合创始人 Yi Tay 发布了一篇博客文章，分享了他的看法。Yi Tay 在参与创立 Reka 之前曾在 Google Research 和谷歌大脑工作过三年多时间，参与过 PaLM、UL2、Flan-2、Bard 等著名 LLM 以及 PaLI-X 和 ViT-22B 等多模态模型的研发工作。以下为他的博客文章内容。基础简介
总体上看，过去这些年的 LLM 模型架构主要分为三大范式：仅编码器模型（如 BERT）、编码器 – 解码器模型（如 T5）、仅解码器模型（如 GPT 系列模型）。人们常常搞不清楚这些，并且对这些分类方法和架构有所误解。
首先要理解的一点是：编码器 – 解码器模型实际上也是自回归模型。在编码器 – 解码

原文链接：盛名一时的BERT哪去了？这个问题的答案昭示了LLM范式的转变