Llama 3 – Meta开源推出的新一代大语言模型

Llama 3是Meta公司最新开源发布的先进大型语言模型（LLM），其参数规模包括8B和70B两个版本，标志着开源人工智能领域的重要进展。作为Llama系列的第三代产品，Llama 3不仅延续了前代模型的强大性能，还通过一系列创新与优化，提供了更加高效、可靠的AI解决方案。该模型广泛适用于编程、问题解答、翻译和对话生成等多种应用场景。

Llama 3是什么

Llama 3是Meta公司推出的最新一代开源大型语言模型（LLM），提供8B（80亿参数）和70B（700亿参数）两种型号，展现了开源人工智能的重要进步。作为Llama系列的第三代产品，Llama 3不仅继承了前代模型的优势，还通过技术创新和改进，旨在为用户提供更高效、更可靠的AI解决方案，适用于多种应用场景，如编程、问题解决、翻译和对话生成。

Llama 3的系列型号

Llama 3目前提供两种型号，分别为8B和70B，旨在满足不同用户的需求，提供灵活的选择。

• Llama-3-8B：此型号包含80亿个参数，适用于需要快速推理和较少计算资源的应用场景，同时保持优异的性能表现。
• Llama-3-70B：此型号为700亿参数的模型，适合处理更复杂的任务，提供更深层次的语言理解和生成能力，适合对性能要求较高的应用。

未来，Llama 3还将推出400B参数规模的模型，目前正在训练中。Meta表示，完成训练后将发布详细的研究论文。

官方网站及资源

• 官方项目主页：https://llama.meta.com/llama3/
• GitHub模型权重和代码：https://github.com/meta-llama/llama3/
• Hugging Face模型：https://huggingface.co/collections/meta-llama/meta-llama-3-66214712577ca38149ebb2b6

Llama 3的改进之处

• 参数规模：提供8B和70B两种参数规模，相较于Llama 2，模型的参数数量增加，使其能够更好地捕捉和学习复杂的语言模式。
• 训练数据集：Llama 3的训练数据集是Llama 2的7倍，包含超过15万亿个token，其中包括4倍的代码数据，显著提升了模型在理解和生成代码方面的能力。
• 模型架构：采用了更高效的分词器和分组查询注意力（Grouped Query Attention，GQA）技术，提升了推理效率，增强了长文本处理能力。
• 性能提升：通过改进的预训练和后训练过程，Llama 3在错误拒绝率、响应对齐和模型响应多样性方面均取得了显著提升。
• 安全性：引入了Llama Guard 2等安全工具，增强了模型的安全性和可靠性。
• 多语言支持：预训练数据中加入了超过30种语言的高质量非英语数据，为多语言能力奠定了基础。
• 推理和代码生成：在推理、代码生成和指令跟随等方面表现出色，更加精准高效地处理复杂任务。

Llama 3的性能评估

据Meta官方博客，经过指令微调后的Llama 3 8B模型在MMLU、GPQA、HumanEval、GSM-8K、MATH等基准测试中，表现优于同参数规模的Gemma 7B和Mistral 7B模型，而微调后的Llama 3 70B在MLLU、HumanEval、GSM-8K等基准测试中同样超越了Gemini Pro 1.5和Claude 3 Sonnet模型。

此外，Meta还开发了一套高质量的人类评估集，包含1800个提示，涵盖12个关键用例，通过与Claude Sonnet、Mistral Medium和GPT-3.5等竞争模型的比较，人类评估者基于该评估集进行了偏好排名，结果显示Llama 3在真实世界场景中的表现非常突出，胜出率至少达到52.9%。

Llama 3的技术架构

• 解码器架构：Llama 3采用解码器（decoder-only）架构，适用于自然语言生成任务。
• 分词器和词汇量：使用128K个token的分词器，提高了语言编码效率，显著提升了模型性能。
• 分组查询注意力（GQA）：采用GQA技术，减少计算量，提升推理效率，同时保持模型性能。
• 长序列处理：支持长达8192个token的序列，使用掩码技术确保自注意力不跨越文档边界，适合处理长文本。
• 预训练数据集：在超过15TB的token上进行预训练，数据集质量高，为模型提供丰富的语言信息。
• 多语言数据：预训练数据集中包含超过5%的高质量非英语数据，涵盖多种语言，以支持多语言能力。
• 数据过滤与质量控制：开发了一系列数据过滤管道，确保训练数据的高质量。
• 扩展性和并行化：通过数据并行化、模型并行化和流水线并行化，提升训练效率。
• 指令微调：在预训练模型的基础上，通过指令微调提升特定任务表现，如对话和编程。

如何使用Llama 3

开发者

Meta已在GitHub、Hugging Face和Replicate上开源Llama 3模型，开发者可以使用torchtune等工具对Llama 3进行定制和微调，以满足特定需求和用例。感兴趣的开发者可查看官方的入门指南并下载部署。

• 官方模型下载：https://llama.meta.com/llama-downloads
• GitHub地址：https://github.com/meta-llama/llama3/
• Hugging Face地址：https://huggingface.co/meta-llama
• Replicate地址：https://replicate.com/meta

普通用户

不熟悉技术的普通用户可以通过以下方式体验Llama 3：

• 访问Meta最新推出的Meta AI聊天助手进行体验（注意：Meta.AI可能限制区域，仅在部分国家可用）。
• 通过Replicate提供的Chat with Llama进行体验：https://llama3.replicate.dev/
• 使用Hugging Chat（https://huggingface.co/chat/），可以手动将模型切换至Llama 3。