“OpenAI o1：中文真实性评估中的顶尖之选！”

来自淘天团队“中文简短问答”测试基准

原标题：史上最严“中文真实性评估”：OpenAI o1第1豆包第2，其它全部不及格
文章来源：量子位
内容字数：12883字

中文简短问答基准的提出及其重要性

随着大语言模型（LLM）的快速发展，评估其真实性能力的标准变得愈发重要。淘宝天猫集团的研究者们提出了中文简短问答（Chinese SimpleQA），这是首个全面的中文基准，具备“中文、多样性、高质量、静态、易于评估”五个特性。该基准旨在帮助开发者理解模型在中文环境中的真实性表现，并推动基础模型的进步。

基准的特征与数据收集

中文简短问答基准包含3000个高质量问题，涵盖“中国文化”、“人文”、“工程与技术”、“生活与文化”、“社会”和“自然科学”等六个主题。数据收集过程结合了自动生成与人工验证，确保问题和答案的质量。这些问题均为客观且唯一，且不会随时间变化，确保其有效性和挑战性。

评估现有模型的发现

研究显示，只有少数模型（如o1-preview和Doubao-pro-32k）达到及格分数，提示许多模型仍需改进。结果表明，模型规模越大，性能越好。此外，检索增强生成（RAG）技术显著提高了模型的真实性，缩小了不同模型之间的性能差距。

模型性能的进一步分析

作者评估了17个闭源和24个开源大语言模型，发现“mini”系列模型的表现普遍较差，而中文社区模型在“中国文化”主题上表现优于一些主流模型。模型的校准、测试时间与准确性之间的关系也被深入探讨，强调了RAG在提升模型性能中的关键作用。

结论与未来方向

中文简短问答基准的提出，为评估大语言模型的真实性能力提供了新的工具。研究者们将在未来继续探索提升模型真实性的方法，并考虑将该基准扩展到多语言和多模态设置，以适应更广泛的应用需求。

更多信息请查阅论文：中文简短问答基准论文.

联系作者

文章来源：量子位
作者微信：
作者简介：追踪人工智能新趋势，关注科技行业新突破