颠覆认知：大模型不可靠，越大越不可靠？最新研究登上 Nature

AIGC动态欢迎阅读

原标题：颠覆认知：大模型不可靠，越大越不可靠？最新研究登上 Nature
关键字：模型,任务,难度,错误率,错误
文章来源：人工智能学家
内容字数：0字

内容摘要：

人工智能（AI）模型的参数规模越大，生成的答案就越准确？就更加可信？
还真不一定！
日前，一项发表在权威科学期刊 Nature 上的研究表明：相比于小参数模型，大参数模型不会承认它们的“无知”，而更倾向于生成错误答案。
值得关注的是，人们并不善于发现这些错误。这项研究来自瓦伦西亚理工大学团队及其合作者，他们在研究了 GPT、LLaMA 和 BLOOM 系列大语言模型（LLM）之后发现——
尽管正如预期的那样，由于一些微调方法（如 RLFH），参数规模更大的 LLM 生成的答案更准确，尤其是在复杂任务上，但整体可靠性却较低。
在所有不准确的回答中，错误回答的比例有所上升，甚至在一些简单任务上出现更多低级错误。例如，GPT-4 在处理简单的加法和字谜时的错误率竟比一些小模型高出 15%。这是因为模型不太可能回避回答问题——比如承认它不知道或者转移话题。
以上结果表明，大参数模型在简单任务上可能会出现过度拟合或错误估计的风险，反而更不可靠。模型扩展带来“能力反差”
在这项工作中，研究人员从人类用户与 LLM 互动的角度，探讨了难度一致性、任务回避和提示稳定性三个核心交织元素对 LLM 可靠性

原文链接：颠覆认知：大模型不可靠，越大越不可靠？最新研究登上 Nature

联系作者

文章来源：人工智能学家
作者微信：
作者简介：