今日arXiv最热NLP大模型论文：清华大学：大语言模型的常见词僻意理解能力竟不如中学生

AIGC动态欢迎阅读

原标题：今日arXiv最热NLP大模型论文：清华大学：大语言模型的常见词僻意理解能力竟不如中学生
关键字：模型,语义,能力,提示,任务
文章来源：夕小瑶科技说
内容字数：10424字

内容摘要：

夕小瑶科技说 原创作者 | 谢年年LLMs在各种下游任务上都表现出色，翻译、写诗、写故事信手拈来，甚至在某些任务上超过了人类水平。
如果是一个人擅长翻译，那我们会觉得他充分掌握了两门语言体系，精通双语。但是LLMs也是如此吗？LLMs是真的掌握了两门语言，还是仅仅从大规模的训练数据中归纳出语言特征，学会了模仿。
因此 “LLMs是真正理解了世界，还是只是模仿语言模式和逻辑的随机鹦鹉？”。这一疑问引发了众多研究并激起了激烈的争论。
目前主流研究主要集中在表层自然语言理解任务如了LLMs在句子级别理解社交语言的能力、重复句子检测等，而忽视了细粒度的探索。为了填补这一空白，清华大学深入探讨了LLMs对微妙语义理解能力，特别是对常见词汇的不寻常含义，构建了LeSC（Lexical Semantic Comprehension）数据集来评估LLMs对单词级自然语言理解能力。
简单来说， 作者使用高考和大学英语考试的数据为LLMs量身打造了单词释义理解任务，这些单词的正确含义往往不是常见的释义。如下图所示，让LLMs选择“air”一词在该句子中所代表的中文含义。“air”此时不是“空气”的意思。

原文链接：今日arXiv最热NLP大模型论文：清华大学：大语言模型的常见词僻意理解能力竟不如中学生

联系作者

文章来源：夕小瑶科技说
作者微信：xixiaoyaoQAQ
作者简介：专业、有趣、深度价值导向的科技媒体。聚集30万AI工程师、研究员，覆盖500多家海内外机构投资人，互联网大厂中高管和AI公司创始人。一线作者来自清北、国内外顶级AI实验室和大厂，兼备敏锐的行业嗅觉和洞察深度。商务合作：zym5189