LLaMA-2-7B数学能力上限已达97.7%？Xwin-Math利用合成数据解锁潜力

AIGC动态欢迎阅读

原标题：LLaMA-2-7B数学能力上限已达97.7%？Xwin-Math利用合成数据解锁潜力
关键字：模型,数学,数据,问题,能力
文章来源：机器之心
内容字数：4107字

内容摘要：

机器之心专栏
机器之心编辑部合成数据持续解锁大模型的数学推理潜力！数学问题解决能力一直被视为衡量语言模型智能水平的重要指标。通常只有规模极大的模型或经过大量数学相关预训练的模型才能有机会在数学问题上表现出色。
近日，一项由 Swin-Transformer 团队打造，来自西安交通大学、中国科学技术大学、清华大学和微软亚洲研究院的学者共同完成的研究工作 Xwin 颠覆了这一认知，揭示了通用预训练下 7B（即 70 亿参数）规模的语言模型（LLaMA-2-7B）在数学问题解决方面已经展现出较强的潜力，并可使用基于合成数据的有监督微调方法促使模型愈发稳定地将数学能力激发出来。
这项研究发布在 arXiv 上，题为《Common 7B Language Models Already Possess Strong Math Capabilities》。论文链接：https://arxiv.org/pdf/2403.04706.pdf
代码链接：https://github.com/Xwin-LM/Xwin-LM
研究团队首先仅使用 7.5K 数据，对 LLaMA-2-7B 模型指令微调，进而测评

原文链接：LLaMA-2-7B数学能力上限已达97.7%？Xwin-Math利用合成数据解锁潜力