纯C语言手搓GPT-2，前OpenAI、特斯拉高管新项目火了

AIGC动态欢迎阅读

原标题：纯C语言手搓GPT-2，前OpenAI、特斯拉高管新项目火了
关键字：模型,语言,代码,权重,内存
文章来源：机器之心
内容字数：8282字

内容摘要：

机器之心报道
编辑：泽南、小舟「Real men program in C.」众所周知，大语言模型还在快速发展，应该有很多可以优化的地方。我用纯 C 语言来写，是不是能优化一大截？
也许很多人开过这样的脑洞，现在有大佬实现了。今天凌晨，前特斯拉 Autopilot 负责人、OpenAI 科学家 Andrej Karpathy 发布了一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」。
GitHub 链接：https://github.com/karpathy/llm.c
消息一出，立即引发了机器学习社区的热烈讨论，项目的 Star 量不到七个小时就冲上了 2000。有网友表示，大佬从零开始用 C 语言写大模型只为好玩，我等只能膜拜：llm.c 旨在让大模型（LM）训练变得简单 —— 使用纯 C 语言 / CUDA，不需要 245MB 的 PyTorch 或 107MB 的 cPython。例如，训练 GPT-2（CPU、fp32）仅需要单个文件中的大约 1000 行干净代码（clean code），可以立即编译运行，并且完全可以媲美 PyT

原文链接：纯C语言手搓GPT-2，前OpenAI、特斯拉高管新项目火了

联系作者

文章来源：机器之心
作者微信：almosthuman2014
作者简介：专业的人工智能媒体和产业服务平台