北京大学：利用好不确定性，8B小模型也能超越GPT-4

AIGC动态欢迎阅读

原标题：北京大学：利用好不确定性，8B小模型也能超越GPT-4
关键字：模型,性能,任务,确定性,方法
文章来源：夕小瑶科技说
内容字数：0字

内容摘要：

夕小瑶科技说 原创作者 | 谢年年大模型有一个显著的特点，那就是不确定性——对于特定输入，相同的LLM在不同解码配置下可能生成显著不同的输出。
比如问一问chatgpt“今天开心吗？”，可以得到两种不同的回答。
常用的解码策略有两种，一个是贪婪解码，即永远选择概率最高的下一个token，另一种就是采样方法，根据概率分布随机选择下一个token，常常使用温度参数平衡响应质量和多样性。
那么，这两种方式哪个更好呢？北大的一篇论文给出了答案：
贪婪解码在大多数任务中通常优于采样方法。
另外作者还发现，LLMs的这种不确定性具有巨大潜力。通过采用“Best-of-N”策略，从多个采样响应中挑选最优答案的方式，Llama-3-8B-Instruct在MMLU、GSM8K和HumanEval上均超越GPT-4-Turbo。
这是否可以说明，即使小模型单次回答可能不够准确，但多试几次，从里面挑最好的，也能找到正确答案。就像多猜几次谜语，总有一次能猜对一样。一起来看看论文中怎么说的吧~
论文标题:The Good, The Bad, and The Greedy:
Evaluation of LLMs

原文链接：北京大学：利用好不确定性，8B小模型也能超越GPT-4

联系作者

文章来源：夕小瑶科技说
作者微信：
作者简介：