GPT-4分不清“很快”是多快，“万金油”CoT也拯救不了

AIGC动态欢迎阅读

原标题：GPT-4分不清“很快”是多快，“万金油”CoT也拯救不了

关键字：时间,模型,事件,顺序,任务

文章来源：夕小瑶科技说

内容字数：9004字

内容摘要：夕小瑶科技说 原创作者 | 谢年年、pythonGPT4也有短板？来自爱丁堡大学的研究人员发现GPT4似乎不擅长处理有关时间推理的任务。比如“洗个冷水澡可以很快地让你清醒过来”，“这个小乡村会很快成为一个国际大都市”两个句子中的“很快”表示不同的时间概念，前者是若干秒钟，而后者则是若干年。这对拥有丰富生活经验的人类来说小菜一碟，但如果让LLM来回答可能有些困难。LLM只是从文字中学习知识。这就像是在一个只有文字的世界里，没有实际的触摸、看、听、尝、闻。所以，它们在理解真实世界时，往往会表现得不尽人意。研究人员从三个方面全部分析了不同的LLM理解时间，推理时间任务的能力，发现GPT-4等最先进的模型仍然无法达到人类的性能水平，甚至不如微调后的小模型RoBERTa。除此之外，作者还分析了LLM在时间推理任务上性能不足的原因，并给出进一步改进的建议路线，让我们一起去了解一下吧~论文标题:Are …

原文链接：点此阅读原文：GPT-4分不清“很快”是多快，“万金油”CoT也拯救不了

联系作者

文章来源：夕小瑶科技说

作者微信：xixiaoyaoQAQ

作者简介：更快的AI前沿，更深的行业洞见。聚集25万AI应用开发者、算法工程师和研究人员。一线作者均来自清北、国外顶级AI实验室和互联网大厂，兼备媒体sense与技术深度。