Karpathy称赞，从零实现LLaMa3项目爆火，半天1.5k star

AIGC动态欢迎阅读

原标题：Karpathy称赞，从零实现LLaMa3项目爆火，半天1.5k star
关键字：向量,注意力,矩阵,权重,模型
文章来源：机器之心
内容字数：31060字

内容摘要：

机器之心报道
编辑：杜伟、陈萍项目中代码很多很全，值得细读。一个月前，Meta 发布了开源大模型 llama3 系列，在多个关键基准测试中优于业界 SOTA 模型，并在代码生成任务上全面领先。
此后，开发者们便开始了本地部署和实现，比如 llama3 的中文实现、llama3 的纯 NumPy 实现等。
十几个小时前，有位名为「Nishant Aklecha」的开发者发布了一个从零开始实现 llama3 的存储库，包括跨多个头的注意力矩阵乘法、位置编码和每个层在内都有非常详细的解释。该项目得到了大神 Karpathy 的称赞，他表示项目看起来不错，完全展开后，通过模块嵌套和相互调用，可以更容易看到实际的情况。上传半天的时间，该项目已在 GitHub 上收获了 1.5k 的 star，足可见其含金量。
从零开始实现 llama3
接下来项目作者手把手教你如何从头开始实现 llama3。项目地址：https://github.com/naklecha/llama3-from-scratch
首先从 Meta 提供的 llama3 模型文件中加载张量。
下载地址：https://llama.

原文链接：Karpathy称赞，从零实现LLaMa3项目爆火，半天1.5k star