首次统计学上证明，LLM生成的idea新颖性优于人类

AIGC动态欢迎阅读

原标题：首次统计学上证明，LLM生成的idea新颖性优于人类
关键字：想法,研究人员,创意,论文,智能
文章来源：人工智能学家
内容字数：0字

内容摘要：

来源：机器学习研究组订阅
大型语言模型（LLMs）在各个领域都是一个优秀的助手，广大科研人员也对LLM在加速科学发现方面的潜力充满期待，比如已经有研究提出了能够自主生成和验证新想法的研究智能体。
然而，至今还没有评估结果能够证明LLM系统能够生成新颖的、达到专家水平的想法（idea），更不用说接手完成整个研究流程了。
为了填补这一空白，斯坦福大学的研究人员最近发布了耗时一年完成的新实验，获得了第一个具有统计学意义的结论：LLM生成的想法比人类专家撰写的想法更新颖！论文链接：https://arxiv.org/pdf/2409.04109
在论文中，研究人员设计了一个完整的实验，可以评估模型在新研究思路生成方面的能力，同时对可能的干扰因素进行控制，首次将专家级的自然语言处理（NLP）研究人员与LLM创意代智能体进行直接比较。
实验招募了超过100名高水平NLP研究人员来撰写新想法，然后对LLM生成的想法和人类想法进行盲审，参与者来自 36 个不同的机构，大部分是博士和博士后。
通过这种方式，研究人员首次得出「LLM在研究创意生成」能力的统计显著结论：LLM生成的想法在新颖性方面优于人类专

原文链接：首次统计学上证明，LLM生成的idea新颖性优于人类