前谷歌科学家Yi Tay「LLM演义」系列博客第一弹：BERT为何匿迹江湖？

AIGC动态欢迎阅读

原标题：前谷歌科学家Yi Tay「LLM演义」系列博客第一弹：BERT为何匿迹江湖？
关键字：模型,目标,架构,报告,任务
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：庸庸乔杨
【新智元导读】前谷歌科学家Yi Tay重磅推出「LLM时代的模型架构」系列博客，首篇博文的话题关于：基于encoder-only架构的BERT是如何被基于encoder-decoder架构的T5所取代的，分析了BERT灭绝的始末以及不同架构模型的优缺点，以史为鉴，对于未来的创新具有重要意义。热衷于写博客的前谷歌科学家Yi Tay近日坐飞机太无聊，又撰写了一篇深度文章，探讨了当下很多人关心的一个话题——LLM时代模型架构的此消彼长和风云变幻。
他上一篇自述创业辛酸史的博文就引发了业界的广泛关注，获得了Karpathy的转赞。
这次Yi Tay试图解开在新的LLM时代里正在发生的所有事情，关于「BERT和T5发生了什么」？也关于Transformer encoder、PrefixLM和去噪目标的兴衰。
博客地址：https://www.yitay.net/blog/model-architecture-blogpost-encoders-prefixlm-denoising
为何encoder-only模型「风光不再」？为何BERT这么强，却不能「scale

原文链接：前谷歌科学家Yi Tay「LLM演义」系列博客第一弹：BERT为何匿迹江湖？