CodeGeeX

CodeGeeX是一个基于transformers的大规模预训练编程语言模型。它是一个从左到右生成的自回归解码器，将代码或自然语言标识符（token）作为输入，预测下一个标识符的概率分布。

CodeGeeX 是由清华大学知识工程实验室研发，其中鹏城实验室提供了算力支持，智谱AI、华为MindSpore提供了技术支持。

具体而言，CodeGeeX 采用了华为 MindSpore 框架来实现，使用了鹏城实验室“鹏城云脑II”平台中 192 节点昇腾910 AI处理器，在 20 多种编程语言的代码语料库历时两个月训练而成。

CodeGeeX是一个拥有130亿个参数的大型多语言代码生成模型，通过对20多种编程语言的广泛代码库进行训练，能够生成可执行程序。该模型支持多语言代码生成和跨语言代码翻译，涵盖Python、C++、Java、JavaScript、Go等多种语言的DEMO。其VS Code插件一周内调用25万次以上，并登上了VSCode Weekly榜单。
CodeGeeX的代码和模型均可公开获取，供研究使用。目前模型的预训练结果已经提供下载申请，只需填写相应内容即可。此外，官方还提供了VS Code插件供用户使用。
CodeGeeX已经适配了目前较热门的编辑器VS Code，主要支持四种使用方式：隐式模式、交互模式、自动补全模式和代码片段模式。