离开OpenAI的大神卡帕西「开课了」：新项目日增千星，还是熟悉的min代码风

AIGC动态欢迎阅读

原标题：离开OpenAI的大神卡帕西「开课了」：新项目日增千星，还是熟悉的min代码风
关键字：分词,算法,文本,词汇表,模型
文章来源：量子位
内容字数：2575字

内容摘要：

鱼羊发自凹非寺量子位 | 公众号 QbitAI大神Karpathy从OpenAI离职，原本扬言要大休一周。
但转眼，新项目就已上线GitHub，日增上千星的那种。
还是熟悉的卡式配方：
74行Python代码搞定大模型标记化（tokenization）中常用的BPE（Byte Pair Encoding）算法，实现该算法的最小、最干净代码版本。
甚至：
是不是有点快3万标星的nanoGPT内味儿了？
这波啊，还真是让网友们给猜着了：
Time to cook。
毕竟，Karpathy除了前特斯拉AI总监、OpenAI创始成员的title，最为网友所熟悉的，就是“AI领域大善人”、“擅长将复杂问题简单化的卡老师”这样的身份了（手动狗头）。
BPE代码最小化版本还是具体来看一下，Karpathy老师这次又煮出了一锅什么样的饭。
项目名minbpe已经说明一切：BPE算法的最小、最干净代码版本。
BPE（字节对编码）是随着GPT-2而流行起来的标记化算法。现在，包括GPT系列、Llama系列和Mistral在内，一众大模型都用到了这一算法来训练分词器。
BPE的主要优势在于：
高效：通过

原文链接：离开OpenAI的大神卡帕西「开课了」：新项目日增千星，还是熟悉的min代码风