UC伯克利等最新实锤：LLM就是比人类啰嗦，「提问的艺术」仍难参透

原标题：UC伯克利等最新实锤：LLM就是比人类啰嗦，「提问的艺术」仍难参透
文章来源：新智元
内容字数：4592字

大模型VS人类：提问模式的差异与意义

1. **研究概述:** 加州大学伯克利分校等机构的研究人员对大模型（如GPT-4和LLaMA）的提问能力进行了系统评价，并将其与人类的提问模式进行了比较。研究基于的86万个段落，通过人类参与者和AI模型分别提问并对问题进行评估，最终揭示了二者显著的差异。

2. **评价维度:** 研究从六个维度对问题质量进行评估，分为两组：问题本身的特性（问题类型、长度、上下文覆盖率、可回答程度、罕见性）以及答案的特性（答案所需长度）。

3. **大模型与人类提问模式的差异:**

3.1 **问题类型:** 大模型更倾向于提出需要描述性、长答案的问题（约44%），而人类更倾向于直接、基于事实的问题（例如验证具体事实或人物信息）。

3.2 **问题长度:** 大模型生成的问题更长，不同模型间差异也较大；人类生成的问题较短，且不同类型问题长度差异显著。

3.3 **上下文覆盖:** 人类的问题更全面地覆盖上下文信息，而大模型更倾向于关注文本的前后部分，忽略中间部分，且对细节的关注度更高。

3.4 **可回答程度:** 大模型生成问题的可回答程度受上下文信息影响较大。当文本包含足够背景信息时，问题通常有清晰答案；但若缺乏上下文，大模型生成的问题可回答性会显著下降。

3.5 **答案长度:** 大模型生成的问题通常需要更长、更详细的答案，且答案的可压缩性较差。

4. **研究意义:**

4.1 **改进RAG系统和识别AI虚假信息:** 了解大模型独特的提问模式有助于改进基于检索的生成系统(RAG)，并识别AI系统何时在编造事实。

4.2 **优化提示词:** 研究结果能指导用户编写更有效的提示词，从而引导大模型生成更符合需求的问题。

4.3 **潜在影响:** 大模型生成的问题日益普遍应用于商业产品（例如购物助手、搜索引擎），这将潜移默化地影响人类的思考模式，例如可能导致过度关注细节或文本的头尾部分。 但通过了解差异，我们可以对大模型的提问模式进行微调。

5. **未来研究方向:** 未来研究需要考察大模型面对更长文本（例如书籍）时的提问模式，以及不同文本类型（例如不同学科、不同阅读难度）的影响。

联系作者

文章来源：新智元
作者微信：
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人对人类社会与文明进化的影响，领航中国新智能时代。