ChatGPT无法取代人类程序员！ IEEE 35页论文测出困难编码正确率仅为0.66%

AIGC动态欢迎阅读

原标题：ChatGPT无法取代人类程序员！ IEEE 35页论文测出困难编码正确率仅为0.66%
关键字：代码,问题,难度,复杂度,语言
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：编辑部
【新智元导读】6月，IEEE刊登了一篇对ChatGPT代码生成任务进行系统评估的论文，数据集就是程序员们最爱的LeetCode题库。研究揭示了LLM在代码任务中出现的潜在问题和能力局限，让我们能够对模型做出进一步改进，并逐渐了解使用ChatGPT写代码的最佳姿势。有了ChatGPT，还需要人类程序猿编码吗？
上个月，一项发表在IEEE TSE期刊（Transactions on Software Engineering）上的研究评估了ChatGPT所生成的代码在功能性、复杂性和安全性方面的表现。
结果显示，ChatGPT生成可用代码的能力差异很大。
其成功率从0.66%到89%不等，这主要取决于任务的难度、编程语言等多种因素。
论文地址：https://ieeexplore.ieee.org/document/10507163
具体来说，研究人员测试了GPT-3.5在5种编程语言（C、C++、Java、JavaScript和Python）中，解决LeetCode测试平台上的728个编码问题，以及应对18个CWE（常见缺陷枚举）场景的能力。
虽然在某些情况下，A

原文链接：ChatGPT无法取代人类程序员！ IEEE 35页论文测出困难编码正确率仅为0.66%

联系作者

文章来源：新智元
作者微信：AI_era
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。