DeepMind指出「Transformer无法超出预训练数据实现泛化」，但有人投来质疑

AIGC动态欢迎阅读

原标题：DeepMind指出「Transformer无法超出预训练数据实现泛化」，但有人投来质疑

关键字：函数,模型,线性,上下文,研究者

文章来源：机器之心

内容字数：6717字

内容摘要：机器之心报道编辑：蛋酱难道 Transformer注定无法解决「训练数据」之外的新问题？说起大语言模型所展示的令人印象深刻的能力，其中之一就是通过提供上下文中的样本，要求模型根据最终提供的输入生成一个响应，从而实现少样本学习的能力。这一点依靠的是底层机器学习技术「Transformer 模型」，并且它们也能在语言以外的领域执行上下文学习任务。以往的经验表明，对于在预训练混合体中得到充分体现的任务族…

原文链接：点此阅读原文：DeepMind指出「Transformer无法超出预训练数据实现泛化」，但有人投来质疑

联系作者

文章来源：机器之心

作者微信：almosthuman2014

作者简介：专业的人工智能媒体和产业服务平台