顶会审稿人紧缺，我审我自己！ICML 2023排序实验结果出炉：作者自评能提升评审质量吗？

AIGC动态欢迎阅读

原标题：顶会审稿人紧缺，我审我自己！ICML 2023排序实验结果出炉：作者自评能提升评审质量吗？
关键字：审稿人,评分,论文,误差,作者
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：LRST
【新智元导读】宾夕法尼亚大学苏炜杰教授团队在ICML 2023会议中进行实验显示，经过作者自评校准后，审稿分数的误差降低超过20%。近年来，以ICLR、NeurIPS、ICML等为代表的机器学习会议投稿量式增长。在短短6年间，ICML的投稿量翻了四倍。
这给现有的同行评审（Peer Review）制度带来巨大压力。每位审稿人被要求在短时间内阅读大量文章并给出审稿意见，做出「生死判决」。随着ChatGPT的出现，大量审稿意见甚至直接由AI生成。
这导致了同行评审质量的严重下降。最优秀的论文被拒，而较差的论文反而被接收。对于众多机器学习和人工智能领域的从业者来说，这种现象已经司空见惯。审稿质量太差已经逐渐成为每次顶级会议后必谈的主题。这是因为一个有经验的审稿人往往需要多年的培养。在面对大量投稿时，优质审稿人早已成为「稀缺资源」。由于增加优质审稿人或给每位分配更多的论文是不现实的，我们或许可以要求投稿作者提供信息来协助会议决策。
在此背景下，宾夕法尼亚大学统计系和计算机系的苏炜杰教授团队提出了一种创新的审稿方法：「我审我自己」。论文链接：https://arx

原文链接：顶会审稿人紧缺，我审我自己！ICML 2023排序实验结果出炉：作者自评能提升评审质量吗？