陈丹琦团队揭Transformer内部原理:另辟蹊径,从构建初代聊天机器人入手

AIGC动态4个月前发布 量子位
6 0 0

陈丹琦团队揭Transformer内部原理:另辟蹊径,从构建初代聊天机器人入手

AIGC动态欢迎阅读

原标题:陈丹琦团队揭Transformer内部原理:另辟蹊径,从构建初代聊天机器人入手
关键字:模型,队列,规则,团队,记忆
文章来源:量子位
内容字数:0字

内容摘要:


一水 发自 凹非寺量子位 | 公众号 QbitAI好家伙!为了揭秘Transformer内部工作原理,陈丹琦团队直接复现——
第一个经典聊天机器人ELIZA。
ELIZA编写于20世纪60年代,主要用于心理治疗,在当时似乎已经能“听懂”人说话。
比如下面这个例子:
可以看出,ELIZA的对话方式“有点狡猾”,像极了看似认真实则敷衍的好闺蜜好兄弟~
由于表现出了早期语言模型行为,且算法简单,团队通过成功“复现”ELIZA揭开了Transformer的神秘面纱。
他们在研究中发现:
Transformer模型倾向于使用注意力机制来识别和复制序列中的特定模式,而非严格按照词的位置来复制
即使没有特别为记忆设计的工具,模型也能通过自己的计算过程来实现记忆效果
更多详情接下来一睹为快。
复现经典聊天机器人ELIZA动手前第一步,先来简单了解下ELIZA算法。
ELIZA同时使用本地模式匹配和两种长期记忆机制(循环遍历响应和记忆队列)。
简单来说,本地模式匹配是指ELIZA有一套关键词和规则,当它看到用户说的话里包含这些关键词时,就能按照规则给出回应。
而且,ELIZA会记住以前是怎么回答类似问题


原文链接:陈丹琦团队揭Transformer内部原理:另辟蹊径,从构建初代聊天机器人入手

联系作者

文章来源:量子位
作者微信:
作者简介:

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...