强如 GPT-4，也未通过伯克利与斯坦福共同设计的这项“剧本杀”测试

AIGC动态欢迎阅读

原标题：强如 GPT-4，也未通过伯克利与斯坦福共同设计的这项“剧本杀”测试
关键字：模型,规则,测试,报告,研究人员
文章来源：AI科技评论
内容字数：6935字

内容摘要：

让不同的大模型玩“剧本杀”，结果出人意料。编译 | 赖文昕
编辑 | 陈彩娴
语言大模型能依据人类设定的规则生成内容吗？
这背后关乎人类用户使用大模型的安全问题。
例如，AI 科技评论想使用 GPT-4 制作一张包含对话框的图片，但没有针对目标生成对话的内容给予明确指示，而 GPT-4 生成的图文效果便如下，显示文本逻辑混乱、字不成章，还有部分“重影”：
语言大模型能否遵循人类指示生成合格内容，是人类能否操控人工智能的重要评测标准之一。
近日，加州大学伯克利、斯坦福大学联合AI安全中心（CAIS）及阿卜杜勒阿齐兹国王科技城（KACST）联合发表了一项最新研究，提出一个用于衡量语言大模型（LLM）遵循规则能力的程序框架“RULES”，旨在以编程方式自动检查语言模型输出的内容合规性。
论文链接：https://arxiv.org/pdf/2311.04235v3.pdf
该项研究选取了包含 GPT、Claude、Gemini 三个闭源模型和 Llama-2、Mistral、Yi、Qwen、Deepseek、Gemma等 123 个开源模型作为测试对象。让人惊讶的是，大部分参与 RULES

原文链接：强如 GPT-4，也未通过伯克利与斯坦福共同设计的这项“剧本杀”测试

联系作者

文章来源：AI科技评论
作者微信：aitechtalk
作者简介：雷峰网旗下AI新媒体。聚焦AI前沿研究，关注AI工程落地。