谷歌推出的评估大模型能力的基准测试

产品名称：FACTS Grounding
产品简介：FACTS Grounding是谷歌DeepMind推出的评估大型语言模型（LLMs）能力的基准测试，衡量模型根据给定上下生成事实准确且无捏造信息的本的能力。FACTS Grounding测试集包含1719个跨多个域的示例，要求模型响应必须基于长达32000个token的档，涵盖摘要、问答和改写等任务。
详细介绍：

FACTS Grounding是什么

FACTS Grounding是谷歌DeepMind推出的评估大型语言模型（LLMs）能力的基准测试，衡量模型根据给定上下生成事实准确且无捏造信息的本的能力。FACTS Grounding测试集包含1719个跨多个域的示例，要求模型响应必须基于长达32000个token的档，涵盖摘要、问答和改写等任务。评估用Gemini、GPT-4o和Claude三款模型，分两个阶段：资格评估和事实准确性评估，增模型的信任度和应用范围。

FACTS Grounding的主要功能

• 评估语言模型的事实准确性：评估大型语言模型（LLMs）在给定上下的情况下生成事实准确本的能力。
• 避免“幻觉”（捏造信息）：测试模型是否能避免生成与给定档不相符的虚假信息，即“幻觉”。
• 长形式响应的评估：要求模型能够处理长达32k令牌的档，并基于此生成长形式的响应。
• 多域覆盖：数据集覆盖金融、科技、零售、医疗和法律等多个域，评估模型在不同域的应用能力。

FACTS Grounding的技术原理

• 长形式输入处理：评估模型处理长达32k令牌的档的能力，要求模型能理解和合成长本信息生成响应。
• 上下相关性：模型生成与给定用户提示和上下档紧密相关的本，确保响应完全基于提供的档内容。
• 自动化评审系统：用自动化评审模型（如Gemini 1.5 Pro、GPT-4o和Claude 3.5 Sonnet）评估生成的本是否满足用户请求，且是否完全基于提供的档。
• 两阶段评估流程：
  • 资格评估：判断模型的响应是否满足用户请求。
  • 事实准确性评估：评估响应是否完全基于提供的档，即评估是否存在“幻觉”（捏造信息）。
• 聚合评分机制：聚合多个评审模型的结果减少单一模型的偏见，提高评估的准确性和可靠性。

FACTS Grounding的项目地址

• 项目官网：https://deepmind.google/discover/blog/facts-grounding
• 技术论：https://storage.googleapis.com/deepmind-media/FACTS/FACTS_grounding

FACTS Grounding的应用场景

• 信息检索与问答系统：在问答系统中，根据给定的档或上下提供准确的答案。
• 内容摘要与生成：模型生成档的摘要，理解长篇档并准确提炼关键信息。
• 档改写与重述：在需要根据原始档重述或改写内容的场景中，确保改写后的内容保持事实的准确性。
• 自动化客户服务：在客户服务域，提供基于特定信息或政策档的准确回答，提高服务效率和质量。
• 教育与研究：在教育域，帮助学生和研究人员快速准确地获取信息，辅助学习和研究工作。