中国团队再获EMNLP最佳长论文！北大微信AI联合揭秘大模型上下文学习机制

AIGC动态欢迎阅读

原标题：中国团队再获EMNLP最佳长论文！北大微信AI联合揭秘大模型上下文学习机制

关键字：模型,标签,论文,信息,上下文

文章来源：量子位

内容字数：3701字

内容摘要：白交发自凹非寺量子位 | 公众号 QbitAIEMNLP顶会落下帷幕，各种奖项悉数颁出。最佳长论文奖被北大微信AI团队收入囊中，由北大孙栩老师和微信周杰、孟凡东合作指导。他们发现了大模型中关键能力——上下文学习背后的工作机制。通过理解这一机制，还提出一系列方法来提高其性能。除此之外，斯坦福Christopher Manning教授做了最后的主题演讲，告诉那些正在为大模型而感到焦虑的NLP博士生们，还有很多有意义的方向可以做。EMNLP最佳长论文上下文学习(in-context learning, ICL)是大语言模型的一个重要能力，通过提供少量示范示例，让模型学会执行各种下游任务，而无需更新参数。目前ICL内在工作机制仍尚无定论，但缺乏对ICL过程的理解会限制能力进一步提升。基于这一背景，北大微信AI团队首次从信息流这一角度来探索。此前相关分析研究主要从输入作用和梯度角度进行分析。首…

原文链接：点此阅读原文：中国团队再获EMNLP最佳长论文！北大微信AI联合揭秘大模型上下文学习机制