Gemma 2

Gemma 2是谷歌DeepMind推出的一款先进开源人工智能模型，提供90亿和270亿参数的两个版本。该模型以卓越的性能、高效的推理速度以及广泛的硬件兼容性而闻名，能够与更大参数模型（如Llama 3、Claude 3 Sonnet）相抗衡。Gemma 2旨在便于开发者集成，支持多种AI框架，并通过Google Cloud、Kaggle和Hugging Face等平台免费提供。

Gemma 2是什么

Gemma 2是谷歌DeepMind推出的新一代开源人工智能模型，拥有90亿（9B）和270亿（27B）参数的版本。凭借其出色的性能和高效的推理速度，Gemma 2在诸多应用中展现了与更大参数模型相媲美的能力。该模型设计简便，易于融入开发者的工作流程，支持多种AI框架，并通过多个平台供用户免费使用。

主要功能

• 参数规模：Gemma 2提供90亿和270亿参数版本，适应不同的应用需求和资源条件。此外，后续计划推出26亿参数（2.6B）模型。
• 卓越性能：270亿参数的Gemma 2在性能上能够与参数数量超过其两倍的模型相媲美。在LMSYS Chatbot Arena中，270亿参数的Gemma 2指令微调模型成功击败700亿参数的Llama 3，并超越Nemotron 4 340B、Claude 3 Sonnet、Command R+、Qwen 72B等模型，成为开源权重模型中的佼佼者。
  
• 高效推理：Gemma 2经过特别优化，能够在单个高性能GPU或TPU上以全精度运行，且无需额外硬件资源，从而显著降低了使用成本。
• 广泛的硬件兼容性：Gemma 2能够在多种硬件平台上快速运行，包括个人电脑、工作站、游戏笔记本和云服务器等。
• 开放许可：Gemma 2采用商业友好的许可协议，允许开发者和研究人员自由分享、使用及商业化其应用。
• 框架支持：Gemma 2与主流AI框架兼容，如Hugging Face Transformers、JAX、PyTorch和TensorFlow，使开发者可以根据个人偏好选择合适的工具。
• 部署工具：谷歌推出了Gemma Cookbook，这是一个包含实用示例和指南的资源库，帮助用户构建应用和微调Gemma 2模型。
• 负责任的AI：谷歌提供了一系列工具和资源，如Responsible Generative AI Toolkit和LLM Comparator，以支持开发者和研究人员以负责任的方式构建和部署AI。

如何使用Gemma 2

Gemma 2能够与用户的日常工具和工作流程无缝集成，兼容Hugging Face Transformers、JAX、PyTorch和TensorFlow等主流AI框架。用户可以通过原生Keras 3.0、vLLM、Gemma.cpp、Llama.cpp和Ollama进行操作。此外，Gemma 2还通过NVIDIA TensorRT-LLM进行了优化，可以在NVIDIA的加速基础设施上运行，或者作为NVIDIA NIM推理微服务使用，并将针对NVIDIA的NeMo进行优化。

目前，Gemma 2已在Google AI Studio中推出，用户可以在无需硬件要求的情况下以27B的速度测试其全部性能。开发者也可以从Kaggle和Hugging Face Models下载Gemma 2的模型权重，而Vertex AI Model Garden也即将推出。

为方便研究和开发，Gemma 2还可以通过Kaggle或Colab笔记本免费使用。首次使用Google Cloud的用户可获得300美元的信用额度。学术研究人员可以申请Gemma 2学术研究计划，以获得Google Cloud信用额度，助力他们的研究进展。申请开放时间为即日起至8月9日。