ICML 2024 哈佛大学最新研究：越强的大模型越不懂人类

AIGC动态欢迎阅读

原标题：ICML 2024 哈佛大学最新研究：越强的大模型越不懂人类
关键字：模型,问题,人类,信念,函数
文章来源：夕小瑶科技说
内容字数：0字

内容摘要：

夕小瑶科技说 原创作者 | 任同学大语言模型（LLMs）展现出了多种用途。这种多样性提供了巨大的潜力：同一个模型可以帮助软件工程师编写代码，也可以总结医生的临床笔记。然而，这种多样性也带来了评价问题：我们如何知道这些模型在不同任务中的表现是否符合我们的期望？
以与监督学习模型相同的方式评估 LLM（通过预先指定任务并根据相关基准进行评估）会低估 LLM 的能力。LLMs能够执行许多任务，而这些任务无法全部列举出来。此外，LLMs将会被用在许多评估者可能无法预见的任务上。解决这个问题的一种方法是通过其可能的部署方式来评价LLMs。这种评价的一个方面是理解人们将选择在何处使用LLMs，例如，医生是否会使用这些模型来总结笔记或回答问题？因此，了解人们关于LLMs性能的信念（belief）非常重要。
来自哈佛大学、麻省理工、芝加哥大学的研究人员对此进行了研究，该研究旨在理解人们如何对LLM在不同任务中的表现形成期望，并评估这些期望与实际表现之间的差异。这一研究的重要性在于，只有理解人们的期望，我们才能更有效地评估和应用这些强大的模型。
什么是人类的泛化行为？人类泛化行为是指人类提出问题，观察

原文链接：ICML 2024 哈佛大学最新研究：越强的大模型越不懂人类

联系作者

文章来源：夕小瑶科技说
作者微信：xixiaoyaoQAQ
作者简介：专业、有趣、深度价值导向的科技媒体。聚集30万AI工程师、研究员，覆盖500多家海内外机构投资人，互联网大厂中高管和AI公司创始人。一线作者来自清北、国内外顶级AI实验室和大厂，兼备敏锐的行业嗅觉和洞察深度。商务合作：zym5189