中国团队再获EMNLP最佳长论文!北大微信AI联合揭秘大模型上下文学习机制

AIGC动态11个月前发布 量子位
25 0 0

中国团队再获EMNLP最佳长论文!北大微信AI联合揭秘大模型上下文学习机制

AIGC动态欢迎阅读

原标题:中国团队再获EMNLP最佳长论文!北大微信AI联合揭秘大模型上下文学习机制

关键字:模型,标签,论文,信息,上下文

文章来源:量子位

内容字数:3701字

内容摘要:白交 发自 凹非寺量子位 | 公众号 QbitAIEMNLP顶会落下帷幕,各种奖项悉数颁出。最佳长论文奖被北大微信AI团队收入囊中,由北大孙栩老师和微信周杰、孟凡东合作指导。他们发现了大模型中关键能力——上下文学习背后的工作机制。通过理解这一机制,还提出一系列方法来提高其性能。除此之外,斯坦福Christopher Manning教授做了最后的主题演讲,告诉那些正在为大模型而感到焦虑的NLP博士生们,还有很多有意义的方向可以做。EMNLP最佳长论文上下文学习(in-context learning, ICL)是大语言模型的一个重要能力,通过提供少量示范示例,让模型学会执行各种下游任务,而无需更新参数。目前ICL内在工作机制仍尚无定论,但缺乏对ICL过程的理解会限制能力进一步提升。基于这一背景,北大 微信AI团队首次从信息流这一角度来探索。此前相关分析研究主要从输入作用和梯度角度进行分析。首…

原文链接:点此阅读原文:中国团队再获EMNLP最佳长论文!北大微信AI联合揭秘大模型上下文学习机制

联系作者

文章来源:量子位

作者微信:QbitAI

作者简介:追踪人工智能新趋势,关注科技行业新突破

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...