手机、PC轻松跑大模型！谷歌发最新API，28亿参数模型本地跑

AIGC动态欢迎阅读

原标题：手机、PC轻松跑大模型！谷歌发最新API，28亿参数模型本地跑
关键字：模型,权重,设备,操作,卷积
文章来源：智东西
内容字数：5737字

内容摘要：

安卓霸主出手！让大模型轻松跑在手机上，四大模型可用。
编译|李水青
编辑|云鹏
智东西3月8日报道，昨晚，谷歌正式发布了MediaPipe LLM Inference API，该API可以让开发人员更便捷地在手机、PC等设备上运行AI大模型，而AI大模型也可以在不同类型的设备上跨设备运行。
谷歌对跨设备堆栈进行了重点优化，包括新的操作、量化、缓存和权重共享等。谷歌称，MediaPipe已经支持了四种模型：Gemma、Phi 2、Falcon和Stable LM，这些模型可以在网页、安卓、iOS设备上运行，谷歌还计划将这一功能扩展到更多平台上。
在安卓上，MediaPipe LLM Inference API仅用于实验和研究，生产应用可以通过安卓AICore在设备上使用Gemini API或Gemini Nano。
这里有一些实时的Gemma 2B通过MediaPipe LLM Inference API运行的动图展示。
▲Gemma-2B在iOS（左）和安卓（右）设备上运行
▲Gemma-2B在设备上的浏览器中运行
GitHub地址：https://github.com/googles

原文链接：手机、PC轻松跑大模型！谷歌发最新API，28亿参数模型本地跑

联系作者

文章来源：智东西
作者微信：zhidxcom
作者简介：智能产业新媒体！智东西专注报道人工智能主导的前沿技术发展，和技术应用带来的千行百业产业升级。聚焦智能变革，服务产业升级。