10行代码让大模型数学提升20%，“野路子”研究谷歌也测上了，主要作者全靠自学成才

AIGC动态欢迎阅读

原标题：10行代码让大模型数学提升20%，“野路子”研究谷歌也测上了，主要作者全靠自学成才
关键字：概率,模型,创意,阈值,方法
文章来源：量子位
内容字数：0字

内容摘要：

克雷西 发自 凹非寺量子位 | 公众号 QbitAI只要不到10行代码，就能让大模型数学能力（GSM8k）提升20%！
几名独立学者提出了大模型采样的改进方案，引起了开源社区的关注。
目前该方法已在Mistral-7B上取得成效，在Llama3-70B上的测试也正在进行。
这种方法叫做最小p采样（min-p sampling），目的是平衡生成文本的连贯性和多样性。
简单说就是让模型在不同场合发挥不同的特性，例如在事实问题上保持性能稳定，在写作等场景中又能发挥创意。
目前该方法已在Mistral-7B上取得成效，在Llama-70B上的测试也即将进行。
在论文中作者提到，该方法已经获得了开源社区的广泛应用。
同时作者还透露，Anthropic和谷歌等闭源模型厂商也已经或正在针对min-p进行测试。
消息也得到了谷歌方面的确认，从OpenAI跳槽到谷歌的开发者社区负责人Logan Kilpatrick已经回复说“On it”（在做了）。
微软Copilot的研究人员Abram Jackson看了后表示，这是他看到的首个有关推理过程token采样的改进，未来还有很大进步空间。
值得一提的是，

原文链接：10行代码让大模型数学提升20%，“野路子”研究谷歌也测上了，主要作者全靠自学成才

联系作者

文章来源：量子位
作者微信：
作者简介：