大模型“脑回路”统一了？LLMs竟然能正确回答其他模型虚构的题目

AIGC动态欢迎阅读

原标题：大模型“脑回路”统一了？LLMs竟然能正确回答其他模型虚构的题目
关键字：模型,问题,正确率,上下文,报告
文章来源：人工智能学家
内容字数：0字

内容摘要：

来源：夕小瑶科技说原创
作者：谢年年
最近开源模型Llama3.1上线，其405B模型竟超越闭源GPT-4o，一夜之间成最强大模型！
然而榜首的位置还没坐热，仅隔一天，Mistral AI团队发布Mistral Large 2 ，最强开源再易主！
大模型之间的竞争异常激烈,榜单的分数也是越刷越高，你解决不了的问题，对我来说so easy！比如问倒一众模型的问题：3.9和3.11哪个大？Mistral Large 2模型居然答对了！
LLMs之间的规模和能力或许各不相同，但在chatgpt之后的LLMs，无论在架构、训练方式、数据方面都高度统一：比如都使用仅解码器的 transformer的结构，以及都有位置嵌入设计，预训练语料库由书籍、互联网文本和代码组成，使用基于随机梯度下降（SGD）进行优化，以及在预训练后进行指令调优和对齐的类似程序等等。
Salesforce AI团队最近就发现：不同的大模型家族之间，无论是闭源代表GPT和Claude,还是开源代表Mistral和Llama 3在面对虚构的问题时展现出惊人的相似性！
团队首先提示一个问题模型(QM)生成一个虚构的选择题并指出

原文链接：大模型“脑回路”统一了？LLMs竟然能正确回答其他模型虚构的题目