鄂维南院士领衔新作：大模型不止有RAG、参数存储，还有第3种记忆

AIGC动态欢迎阅读

原标题：鄂维南院士领衔新作：大模型不止有RAG、参数存储，还有第3种记忆
关键字：记忆,模型,成本,研究者,注意力
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
编辑：陈陈2.4B 的 Memory3比更大的 LLM 和 RAG 模型获得了更好的性能。近年来，大型语言模型 (LLM) 因其非凡的性能而获得了前所未有的关注。然而， LLM 的训练和推理成本高昂，人们一直在尝试通过各种优化方法来降低成本。
本文来自上海算法创新研究院、北京大学等机构的研究者受人类大脑记忆层次结构的启发，他们通过为 LLM 配备显式记忆（一种比模型参数和 RAG 更便宜的记忆格式）来降低这一成本。从概念上讲，由于其大部分知识都外化为显式记忆，因而 LLM 可以享受更少的参数大小、训练成本和推理成本。论文地址：https://arxiv.org/pdf/2407.01178
论文标题：Memory3 : Language Modeling with Explicit Memory作为初步的概念证明，研究者从零开始训练了一个 2.4B 的 LLM，它比更大的 LLM 和 RAG 模型获得了更好的性能，并实现了比 RAG 更高的解码速度。这个模型被命名为 Memory3，因为在 LLM 中，显式记忆是继隐式记忆（模型参数）和工作记忆（上下文键值）之后的第三种记

原文链接：鄂维南院士领衔新作：大模型不止有RAG、参数存储，还有第3种记忆