陈丹琦团队揭Transformer内部原理：另辟蹊径，从构建初代机器人入手

AIGC动态欢迎阅读

原标题：陈丹琦团队揭Transformer内部原理：另辟蹊径，从构建初代机器人入手
关键字：模型,队列,规则,团队,记忆
文章来源：量子位
内容字数：0字

内容摘要：

一水 发自 凹非寺量子位 | 公众号 QbitAI好家伙！为了揭秘Transformer内部工作原理，陈丹琦团队直接复现——
第一个经典机器人ELIZA。
ELIZA编写于20世纪60年代，主要用于心理治疗，在当时似乎已经能“听懂”人说话。
比如下面这个例子：
可以看出，ELIZA的对话方式“有点狡猾”，像极了看似认真实则敷衍的好闺蜜好兄弟~
由于表现出了早期语言模型行为，且算法简单，团队通过成功“复现”ELIZA揭开了Transformer的神秘面纱。
他们在研究中发现：
Transformer模型倾向于使用注意力机制来识别和复制序列中的特定模式，而非严格按照词的位置来复制
即使没有特别为记忆设计的工具，模型也能通过自己的计算过程来实现记忆效果
更多详情接下来一睹为快。
复现经典机器人ELIZA动手前第一步，先来简单了解下ELIZA算法。
ELIZA同时使用本地模式匹配和两种长期记忆机制（循环遍历响应和记忆队列）。
简单来说，本地模式匹配是指ELIZA有一套关键词和规则，当它看到用户说的话里包含这些关键词时，就能按照规则给出回应。
而且，ELIZA会记住以前是怎么回答类似问题

原文链接：陈丹琦团队揭Transformer内部原理：另辟蹊径，从构建初代机器人入手

联系作者

文章来源：量子位
作者微信：
作者简介：