Github2.5k星，Karpathy转赞，「流程工程」让LLM代码能力瞬间翻倍，直接淘汰提示工程

AIGC动态欢迎阅读

原标题：Github2.5k星，Karpathy转赞，「流程工程」让LLM代码能力瞬间翻倍，直接淘汰提示工程
关键字：代码,测试,问题,模型,任务
文章来源：新智元
内容字数：7383字

内容摘要：

新智元报道编辑：润
【新智元导读】Karpathy力推代码生成任务增强流程，让GPT-4在CodeContests从19%提升到44%，不用微调不用新数据集训练，让大模型代码能力大幅提升。代码生成可以说是大模型应用中效果最好，使用人群最广的一项任务了。
但是由于编程语言众多，要应对各种不同的边缘场景，代码生成任务又是对模型能力要求最高的任务，一般的自然语言提示，甚至是CoT等方法，对于代码生成任务来说，效果也不是很好。
但是最近在GitHub上有一个项目大火，它通过一系列针对大模型代码生成任务的优化，将提示词工程升级为一个更加复杂的「流程工程」，能够大幅提升模型输出的代码质量。
项目地址：https://github.com/Codium-ai/AlphaCodium
就连AK看了，都很兴奋地转发，认为如果代码生成任务能够以更科学的流程，而不是简单的问答方式来和大语言模型互动的话，性能确实还有不少提升的空间。
作者把这个项目称为AlphaCodium ，一种基于测试的、多阶段、面向代码的迭代流程。
他们在由谷歌DeepMind提出的一个非常有难度的代码测试集CodeContests上

原文链接：Github2.5k星，Karpathy转赞，「流程工程」让LLM代码能力瞬间翻倍，直接淘汰提示工程