Karpathy 4小时AI大课上线，小白看了都会从零构建GPT-2！

AIGC动态欢迎阅读

原标题：Karpathy 4小时AI大课上线，小白看了都会从零构建GPT-2！
关键字：模型,参数,大课,小时,视频
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：桃子
【新智元导读】距上次Karpathy AI大课更新之后，又有了1个多月的时间。这次他带了超详细的4小时课程——从零开始实现1.24亿参数规模的GPT-2模型。大神Karpathy新一期AI大课又上线了。
这一次，他讲的内容是——从头开始实现124M大小的GPT-2模型，足足有4个小时。
Karpathy对这个视频2个字总结：全面。
我们从空文件开始，以GPT-2（124M）模型结束。
也就是说，这就是手把手教程，就连AI小白看后，都会搭建GPT-2了。
Karpathy称这是从0到英雄（Zero To Hero）的系列中最新的视频。
翻看以往Zero To Hero系列中的视频，最长的也不过2小时25分，这次4小时完全创下了最新记录。
帖子中，他highlight了最新视频中的一些重点内容：
– 我们首先构建GPT-2神经网络
– 然后对其进行优化，以实现快速训练
– 参考GPT-2和GPT-3论文，设置训练运行优化和超参数
– 启动模型评估
– 祈祷一切顺利，上床睡觉
– 等到第二天早上，便可查看模型的结果，欣赏模型生成的有趣输出。
发布短短的几个小时，视频已

原文链接：Karpathy 4小时AI大课上线，小白看了都会从零构建GPT-2！