上下文学习=对比学习？人大揭示ICL推理背后的隐式更新机理：梯度更新了吗？「如更」

AIGC动态欢迎阅读

原标题：上下文学习=对比学习？人大揭示ICL推理背后的隐式更新机理：梯度更新了吗？「如更」

关键字：注意力,模型,梯度,对比,机制

文章来源：新智元

内容字数：4673字

内容摘要：新智元报道编辑：LRS【新智元导读】人民大学最新研究，首次从「对比学习」的角度来理解上下文学习，或可提供自注意力机制的改进思路。近些年来，基于Transformer的大语言模型表现出了惊人的In-context Learning (ICL)能力，我们只需要在查询问题前以 {问题，标签} 的形式增加少数示例，模型就可以学到该任务并输出较好的结果。然而，ICL背后的机理仍是一个开放的问题：在ICL的推…

原文链接：点此阅读原文：上下文学习=对比学习？人大揭示ICL推理背后的隐式更新机理：梯度更新了吗？「如更」

联系作者

文章来源：新智元

作者微信：AI_era

作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。