8B模型奥数成绩比肩GPT-4！上海AI Lab出品

AIGC动态欢迎阅读

原标题：8B模型奥数成绩比肩GPT-4！上海AI Lab出品
关键字：节点,模型,成绩,答案,样本
文章来源：量子位
内容字数：0字

内容摘要：

克雷西发自凹非寺量子位 | 公众号 QbitAI只要1/200的参数，就能让大模型拥有和GPT-4一样的数学能力？
来自复旦和上海AI实验室的研究团队，刚刚研发出了具有超强数学能力的模型。
它以Llama 3为基础，参数量只有8B，却在奥赛级别的题目上取得了比肩GPT-4的准确率。
这款模型名为MCTSr，是将AlphaGo中用到的蒙特卡洛算法与Llama3结合而成。
它能用少量的数据实现和GPT-4等的相同效果，让网友感叹Q*成真了，小模型在数学上也能做的和GPT-4等著名模型一样好。
就此又有网友表示，MCTSr能用极少的参数实现相同的效果，加上有时候训练收益随规模递减，表明架构才是当前AI的瓶颈，而不是运算。
这样的趋势也让人想起了AI算力霸主英伟达，开始思考规模化是不是不那么重要了，会不会利空老黄呢？
所以，MCTSr具体运用了什么样的方法呢？
将蒙特卡洛引入大模型MCTSr名字里是MCT，指的就是蒙特卡洛树（Monte Carlo Tree），而Sr则指的是自我完善（Self-Refine）。
蒙特卡洛树又称随机抽样或统计试验方法，是指一种使用重复随机采样生成合成模拟数据

原文链接：8B模型奥数成绩比肩GPT-4！上海AI Lab出品