涵盖500多项研究、50多个模型，代码大模型综述来了

AIGC动态欢迎阅读

原标题：涵盖500多项研究、50多个模型，代码大模型综述来了

关键字：代码,模型,语言,任务,报告

文章来源：机器之心

内容字数：20064字

内容摘要：机器之心报道编辑：Panda W本文带你全面洞悉用LLM写代码的各式方法。随着 BERT 和 GPT 等预训练 Transformer 的出现，语言建模近些年来取得了显著进步。随着大型语言模型（LLM）的规模扩展至数以千万计的参数数量，LLM 开始展现出通用人工智能的迹象，它们的应用也已经不局限于文本处理。Codex 首次展现出了 LLM 在代码处理方面的出色能力，之后更是出现了 GitHub Copilot 这样的商业产品以及 StarCoder 和 Code LLaMA 等开源代码模型。但是，预训练 Transformer 在代码处理方面的应用可以追溯到仅解码器（decoder-only）自回归模型成为主流技术之前的时期，而这一领域还尚没有一篇完整的综述。上海交通大学和蚂蚁集团的一个研究团队填补了这一空白。他们对用于代码的语言模型进行了全景式的总结，覆盖了 50 多个模型、30 多个下…

原文链接：点此阅读原文：涵盖500多项研究、50多个模型，代码大模型综述来了

联系作者

文章来源：机器之心

作者微信：almosthuman2014

作者简介：专业的人工智能媒体和产业服务平台