Llama 8B搜索100次超越GPT-4o！推理+搜索即可提升性能，新「Scaling Law」诞生？

AIGC动态欢迎阅读

原标题：Llama 8B搜索100次超越GPT-4o！推理+搜索即可提升性能，新「Scaling Law」诞生？
关键字：报告,模型,方法,领域,数学
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：乔杨
【新智元导读】最近的论文表明，LLM等生成模型可以通过搜索来扩展，并实现非常显著的性能提升。另一个复现实验也发现，让参数量仅8B的Llama 3.1模型搜索100次，即可在Python代码生成任务上达到GPT-4o同等水平。强化学习先驱、加拿大阿尔伯塔大学CS系教授Rich Sutton曾在2019年写下一篇名为《The Bitter Lesson》的博文，成为AI领域的经典论述之一。
甚至，Rich Sutton在字里行间体现出的直觉已经颇有Scaling Law的意味。
原文地址：https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson.pdf
文章简要回顾了AI在象棋、围棋、语音识别和视觉等领域的发展道路，并提出了这样的观点：
我们应该吸取的惨痛教训之一，就是要意识到通用方法的力量。随着可用算力猛增带来计算量的增加，这种方法可以持续扩展。似乎能以这种方式进行任意扩展的两种方法正是搜索（search）和学习（learning）。
然而，这个观点和Scaling Law并不完全一样，我们也不能以此

原文链接：Llama 8B搜索100次超越GPT-4o！推理+搜索即可提升性能，新「Scaling Law」诞生？

联系作者

文章来源：新智元
作者微信：
作者简介：