Gemma 2

AI工具1个月前发布 AI工具集
9 0 0

Gemma 2是谷歌DeepMind推出的一款先进开源人工智能模型,提供90亿和270亿参数的两个版本。该模型以卓越的性能、高效的推理速度以及广泛的硬件兼容性而闻名,能够与更大参数模型(如Llama 3、Claude 3 Sonnet)相抗衡。Gemma 2旨在便于开发者集成,支持多种AI框架,并通过Google Cloud、Kaggle和Hugging Face等平台免费提供。

Gemma 2是什么

Gemma 2是谷歌DeepMind推出的新一代开源人工智能模型,拥有90亿(9B)和270亿(27B)参数的版本。凭借其出色的性能和高效的推理速度,Gemma 2在诸多应用中展现了与更大参数模型相媲美的能力。该模型设计简便,易于融入开发者的工作流程,支持多种AI框架,并通过多个平台供用户免费使用。

Gemma 2

主要功能

  • 参数规模:Gemma 2提供90亿和270亿参数版本,适应不同的应用需求和资源条件。此外,后续计划推出26亿参数(2.6B)模型。
  • 卓越性能:270亿参数的Gemma 2在性能上能够与参数数量超过其两倍的模型相媲美。在LMSYS Chatbot Arena中,270亿参数的Gemma 2指令微调模型成功击败700亿参数的Llama 3,并超越Nemotron 4 340B、Claude 3 Sonnet、Command R+、Qwen 72B等模型,成为开源权重模型中的佼佼者。
    Gemma 2
  • 高效推理:Gemma 2经过特别优化,能够在单个高性能GPU或TPU上以全精度运行,且无需额外硬件资源,从而显著降低了使用成本。
  • 广泛的硬件兼容性:Gemma 2能够在多种硬件平台上快速运行,包括个人电脑、工作站、游戏笔记本和云服务器等。
  • 开放许可:Gemma 2采用商业友好的许可协议,允许开发者和研究人员分享、使用及商业化其应用。
  • 框架支持:Gemma 2与主流AI框架兼容,如Hugging Face Transformers、JAX、PyTorch和TensorFlow,使开发者可以根据个人偏好选择合适的工具。
  • 部署工具:谷歌推出了Gemma Cookbook,这是一个包含实用示例和指南的资源库,帮助用户构建应用和微调Gemma 2模型。
  • 负责任的AI:谷歌提供了一系列工具和资源,如Responsible Generative AI Toolkit和LLM Comparator,以支持开发者和研究人员以负责任的方式构建和部署AI。

如何使用Gemma 2

Gemma 2能够与用户的日常工具和工作流程无缝集成,兼容Hugging Face Transformers、JAX、PyTorch和TensorFlow等主流AI框架。用户可以通过原生Keras 3.0、vLLM、Gemma.cppLlama.cppOllama进行操作。此外,Gemma 2还通过NVIDIA TensorRT-LLM进行了优化,可以在NVIDIA的加速基础设施上运行,或者作为NVIDIA NIM推理微服务使用,并将针对NVIDIA的NeMo进行优化。

目前,Gemma 2已在Google AI Studio中推出,用户可以在无需硬件要求的情况下以27B的速度测试其全部性能。开发者也可以从KaggleHugging Face Models下载Gemma 2的模型权重,而Vertex AI Model Garden也即将推出。

为方便研究和开发,Gemma 2还可以通过Kaggle或Colab笔记本免费使用。首次使用Google Cloud的用户可获得300美元的信用额度。学术研究人员可以申请Gemma 2学术研究计划,以获得Google Cloud信用额度,助力他们的研究进展。申请开放时间为即日起至8月9日。

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...