田渊栋团队新作祭出Agent-as-a-Judge！AI智能体自我审判，成本暴跌97%

AIGC动态欢迎阅读

原标题：田渊栋团队新作祭出Agent-as-a-Judge！AI智能体自我审判，成本暴跌97%
关键字：智能,任务,人类,模块,体系
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：桃子
【新智元导读】AI评估AI可靠吗？来自Meta、KAUST团队的最新研究中，提出了Agent-as-a-Judge框架，证实了智能体系统能够以类人的方式评估。它不仅减少97%成本和时间，还提供丰富的中间反馈。AI智能体，能否像人类一样有效地评估其他AI智能体？
对于AI智能体来说，评估决策路径一直是棘手的问题。
已有的评估方法，要么只关注结果，要么要要过多的人工完成。
为了解决这一问题，田渊栋、Jürgen Schmidhuber带领的团队提出了「Agent-as-a-Judge」框架。
简言之，让智能体来评估智能体系统，让AI审AI。
它不仅可以减少97%的成本和时间，还能提供丰富的中间反馈。
这是「LLM-as-a-Judge」框架的有机延伸，通过融入智能体特性，能够为整个任务解决过程提供中间反馈。
论文地址：https://arxiv.org/abs/2410.10934v1
研究人员提出了DevAI基准，为全新框架提供概念验证测试平台。包含55个真实的AI开发任务，带有详细的手动注释。
通过对三个领先的智能体系统进行基准测试，发现它大大优于「LLM-as

原文链接：田渊栋团队新作祭出Agent-as-a-Judge！AI智能体自我审判，成本暴跌97%