用最直观的动画，讲解LLM如何存储事实，3Blue1Brown的这个视频又火了

AIGC动态欢迎阅读

原标题：用最直观的动画，讲解LLM如何存储事实，3Blue1Brown的这个视频又火了
关键字：向量,矩阵,参数,模型,视频
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
编辑：Panda W、陈陈本文根据视频整理而来，有听错或理解不当之处欢迎在评论区指出。向大模型输入「Michael Jordan plays the sport of _____（迈克尔・乔丹从事的体育运动是……）」，然后让其预测接下来的文本，那么大模型多半能正确预测接下来是「basketball（篮球）」。
这说明在其数以亿计的参数中潜藏了有关这个特定个人的相关知识。用户甚至会感觉这些模型记忆了大量事实。
但事实究竟如何呢？
近日，3Blue1Brown 的《深度学习》课程第 7 课更新了，其中通过生动详实的动画展示了 LLM 存储事实的方式。视频浏览量高达 18 万次。去年 12 月，谷歌 DeepMind 的一些研究者发布了一篇相关论文，其中的具体案例便是匹配运动员以及他们各自的运动项目。虽然这篇论文并未完全解答有关 LLM 事实存储的问题，但也得到了一些颇为有趣的结果，其中的一个重点是：事实保存在网络中的一个特定部分，这个部分也就是我们熟知的多层感知器（MLP）。
在 3Blue1Brown 刚刚更新的这期视频中，他们用 23 分的视频演示了大型语言模型如何存储和

原文链接：用最直观的动画，讲解LLM如何存储事实，3Blue1Brown的这个视频又火了

联系作者

文章来源：机器之心
作者微信：
作者简介：