ChatGPT真能记住你的话吗？DeepMind与开源大佬揭示LLM记忆之谜

AIGC动态欢迎阅读

原标题：ChatGPT真能记住你的话吗？DeepMind与开源大佬揭示LLM记忆之谜
关键字：模型,记忆,数据,上下文,内容
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：乔杨
【新智元导读】LLM有记忆能力吗？有，也没有。虽然ChatGPT聊天时好像可以记住你之前说的话，但实际上，模型在推理时记不住任何内容，而且它们在训练时的记忆方式也不像我们想象的那么简单。Django框架的创始人之一、著名开发者Simon Willison最近发表了一篇博客文章，核心观点是——虽然很多LLM看起来有记忆，但本质上是无状态函数。
文章地址：https://simonwillison.net/2024/May/29/training-not-chatting/
Mozilla和FireFox的联合创始人、JavaScript发明者Brendan Eich也在推特上称赞这篇博客。
似乎有记忆的LLM从计算机科学的角度来看，最好将LLM的推理过程视为无状态函数调用——给定输入文本，它会输出接下来应该做什么。
然而使用过ChatGPT或者Gemini的人会明显感觉到，LLM似乎可以记住之前的对话内容，好像模型有记忆能力。
然而这并不能归功于模型本身。
事实上，用户每次提出一个问题时，模型收到的提示都会包含之前所有的对话内容，这些提示就是我们经常说的「上下文」

原文链接：ChatGPT真能记住你的话吗？DeepMind与开源大佬揭示LLM记忆之谜

联系作者

文章来源：新智元
作者微信：AI_era
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。