院士领衔推出大模型的第3种记忆：比参数存储和RAG都便宜，2.4B模型越级打13B

AIGC动态欢迎阅读

原标题：院士领衔推出大模型的第3种记忆：比参数存储和RAG都便宜，2.4B模型越级打13B
关键字：记忆,模型,知识,报告,参数
文章来源：量子位
内容字数：0字

内容摘要：

梦晨 发自 凹非寺量子位 | 公众号 QbitAI给大模型加上第三种记忆格式，把宝贵的参数从死记硬背知识中解放出来！
中科院院士鄂维南领衔，上海算法创新研究院等团队推出Memory3，比在参数中存储知识以及RAG成本都更低，同时保持比RAG更高的解码速度。
在实验中，仅有2.4B参数的Memory3模型不仅打败了许多7B-13B的模型，在专业领域任务如医学上的表现也超过了传统的RAG方法，同时推理速度更快，“幻觉”问题也更少。
目前相关论文已上传到arXiv，并引起学术界关注。
知识按使用频率分类这一方法受人脑记忆原理启发，独立于存储在模型参数中的隐性知识和推理时的短期工作工作记忆，给大模型添加了显式记忆。
具体来说，人类的记忆大致可以分为三部分:
显式记忆：可以主动回忆的长期记忆，比如读过的文章。获取显式记忆很容易，但提取时需要一定的回忆过程。
隐式记忆：无意识使用的长期记忆，比如骑自行车的技能。获取隐式记忆需要大量重复练习，但使用时毫不费力。
外部信息：存在大脑之外的信息，如考试时的备考资料。获取和使用都很轻松，但遇到新问题时作用有限。
可以看出，三种记忆形式在获取和使用的效率上形

原文链接：院士领衔推出大模型的第3种记忆：比参数存储和RAG都便宜，2.4B模型越级打13B

联系作者

文章来源：量子位
作者微信：QbitAI
作者简介：追踪人工智能新趋势，关注科技行业新突破