GPT-4「荣升」AI顶会同行评审专家？斯坦福最新研究：ICLR/NeurIPS等竟有16.9%评审是ChatGPT生成

AIGC动态欢迎阅读

原标题：GPT-4「荣升」AI顶会同行评审专家？斯坦福最新研究：ICLR/NeurIPS等竟有16.9%评审是ChatGPT生成
关键字：政策,报告,语料库,同行,语料
文章来源：新智元
内容字数：3842字

内容摘要：

新智元报道编辑：Mindy
【新智元导读】斯坦福的一篇案例研究表示，提交给AI会议的同行评审文本中，有6.5%到16.9%可能是由LLM大幅修改的，而这些趋势可能在个体级别上难以察觉。LLM在飞速进步的同时，人类也越来越难以区分LLM生成的文本与人工编写的内容，甚至分辨能力与随机器不相上下。
这加大了未经证实的生成文本可以伪装成权威、基于证据的写作的风险。
尽管在个例上难以察觉，但由于LLM的输出趋于一致性，这种趋势可能会放大语料库级别的偏见。
基于这一点，一支来自斯坦福的团队提出一种方法，以此来对包含不确定量的AI生成文本的真实世界数据集进行可比较的评估，并在AI会议的同行评审文本中验证。
论文地址：https://arxiv.org/abs/2403.07183
AI会议的同行评审可能是AI？同行评审是一种学术论文发表前的质量评估机制。
这些同行评审者通常具有相关领域的专业知识，他们会对论文的原创性、方法学、数据分析、结果解释等进行评价，以确保论文的科学性和可信度。
斯坦福团队研究的AI会议包括ICLR 2024、NeurIPS 2023、CoRL 2023和EMNLP 2023

原文链接：GPT-4「荣升」AI顶会同行评审专家？斯坦福最新研究：ICLR/NeurIPS等竟有16.9%评审是ChatGPT生成