超越Devin！姚班带队，他们创大模型编程新世界纪录

AIGC动态欢迎阅读

原标题：超越Devin！姚班带队，他们创大模型编程新世界纪录
关键字：模型,解读,代码,公司,数字
文章来源：量子位
内容字数：0字

内容摘要：

允中 发自 凹非寺量子位 | 公众号 QbitAI超越Devin！SWEBench排行榜上迎来了新玩家——
StarShip CodeGen Agent，姚班带队初创公司OpenCSG出品，以23.67%的成绩获得全球第二名的成绩。
同时创造了非GPT-4o基模的最高纪录（SOTA）。
我们都知道，SWEBench评测高度贴近真实编程场景，难度极高，不仅要求模型能理解需求、协调多个函数/类甚至文件的变更，还要求模型与执行环境交互，处理超长上下文并执行远超传统代码生成任务的复杂逻辑推理。
在这种高难度的真实测试中，行业中最先进的GPT4和Devin，也仅能解决1.74%和13.86%的问题。
OpenCSG的这一成绩，标志着国内公司在推动语言模型向更实用、智能和自主化方向发展迈出了领先的一步。
大模型编程，到底有多难？2024年3月，首个AI软件工程师Devin的横空出世，引爆了整个技术界。虽然伴随着一系列争议，但Devin本身强大的创新能力和巨大的潜力，带给众多AI爱好者和从业者新的期待。
Devin不仅能够轻松解决编码任务，更可以自主完成软件开发的整个周期——从项目规划到部署，涵盖但

原文链接：超越Devin！姚班带队，他们创大模型编程新世界纪录

联系作者

文章来源：量子位
作者微信：QbitAI
作者简介：追踪人工智能新趋势，关注科技行业新突破