战胜100多位NLP研究人员！杨笛一团队最新百页论文：首次统计学上证明，LLM生成的idea新颖性优于人类

AIGC动态欢迎阅读

原标题：战胜100多位NLP研究人员！杨笛一团队最新百页论文：首次统计学上证明，LLM生成的idea新颖性优于人类
关键字：想法,研究人员,创意,论文,模型
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：LRS
【新智元导读】斯坦福大学的最新研究通过大规模实验发现，尽管大型语言模型（LLMs）在新颖性上优于人类专家的想法，但在可行性方面略逊一筹，还需要进一步研究以提高其实用性。大型语言模型（LLMs）在各个领域都是一个优秀的助手，广大科研人员也对LLM在加速科学发现方面的潜力充满期待，比如已经有研究提出了能够自主生成和验证新想法的研究智能体。
然而，至今还没有评估结果能够证明LLM系统能够生成新颖的、达到专家水平的想法（idea），更不用说接手完成整个研究流程了。
为了填补这一空白，斯坦福大学的研究人员最近发布了耗时一年完成的新实验，获得了第一个具有统计学意义的结论：LLM生成的想法比人类专家撰写的想法更新颖！论文链接：https://arxiv.org/pdf/2409.04109
在论文中，研究人员设计了一个完整的实验，可以评估模型在新研究思路生成方面的能力，同时对可能的干扰因素进行控制，首次将专家级的自然语言处理（NLP）研究人员与LLM创意代智能体进行直接比较。
实验招募了超过100名高水平NLP研究人员来撰写新想法，然后对LLM生成的想法和人类想法进行盲审，

原文链接：战胜100多位NLP研究人员！杨笛一团队最新百页论文：首次统计学上证明，LLM生成的idea新颖性优于人类