ACL 2024 | 提升大模型持续学习性能，哈工大、度小满提出共享注意力框架SAPT

AIGC动态欢迎阅读

原标题：ACL 2024 | 提升大模型持续学习性能，哈工大、度小满提出共享注意力框架SAPT
关键字：注意力,任务,模块,模型,灾难性
文章来源：机器之心
内容字数：0字

内容摘要：

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本论文作者赵伟翔是哈尔滨工业大学社会计算与信息检索研究中心 2021 级直博生，导师为赵妍妍教授和秦兵教授，主要研究方向为对话系统、大语言模型对齐等。他曾以第一作者在 ACL、AAAI、IJCAI、COLING 等会议上发表论文。
个人主页: https://circle-hit.github.io/
在大模型实际部署落地的过程中，如何赋予大模型持续学习的能力是一个至关重要的挑战。这使其能够动态适应新的任务并不断获得新的知识。大模型的持续学习主要面临两个重大挑战，分别是灾难性遗忘和知识迁移。灾难性遗忘是指模型在学习新任务时，会忘记其已掌握的旧任务。知识迁移则涉及到如何在学习新任务时有效地应用旧任务的知识来提升新任务学习的效果。
为了有效应对以上难题，哈工大联合

原文链接：ACL 2024 | 提升大模型持续学习性能，哈工大、度小满提出共享注意力框架SAPT