36年前魔咒！Meta推出反向训练消除大模型「逆转诅咒」

AIGC动态欢迎阅读

原标题：36年前魔咒！Meta推出反向训练消除大模型「逆转诅咒」
关键字：实体,单词,模型,研究人员,语言
文章来源：新智元
内容字数：5516字

内容摘要：

新智元报道编辑：alan
【新智元导读】大语言模型的「逆转诅咒」，被解开了。近日，来自Meta FAIR的研究人员推出了反向训练，让模型从反方向上学到了事实之间的逻辑，终于改进了这个困扰人们已久的问题。大语言模型的「逆转诅咒」，被解开了！
这个诅咒在去年9月首次被发现，一时间引起LeCun、Karpathy、马库斯等一众大佬的惊呼。
因为风光无两、不可一世的大模型竟存在着“阿克琉斯之踵”：一个在「A是B」上训练的语言模型，并不能正确回答出「B是A」。
比如下面这个例子：在LLM明知道「汤姆·克鲁斯的母亲是Mary Lee Pfeiffer」的情况下，却无法答出「Mary Lee Pfeiffer的孩子是汤姆·克鲁斯」。
——这可是当时最先进的GPT-4，结果连小孩子都具备的正常逻辑思维，LLM却做不到。
立于海量的数据之上，记住了几乎超过所有人类的知识，却表现得如此呆板，取得了智慧之火，却永远被囚禁于这个诅咒之中。
论文地址：https://arxiv.org/pdf/2309.12288v1.pdf
这事一出，全网一片哗然。
一方面，网友们表示，大模型真傻，真的。单知道「A是B

原文链接：36年前魔咒！Meta推出反向训练消除大模型「逆转诅咒」

联系作者

文章来源：新智元
作者微信：AI_era
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人对人类社会与文明进化的影响，领航中国新智能时代。