安谋科技杨磊：抢占端侧大模型部署制高点，NPU将为端侧提供关键动力丨GenAICon 2024

AIGC动态欢迎阅读

原标题：安谋科技杨磊：抢占端侧大模型部署制高点，NPU将为端侧提供关键动力丨GenAICon 2024
关键字：模型,周易,设备,功耗,硬件
文章来源：智东西
内容字数：8648字

内容摘要：

异构计算，把大模型塞进端侧的最优解。‍
2024中国生成式AI大会于4月18-19日在北京举行，在大会第一天的主会场大模型专场上，安谋科技产品总监杨磊以《大模型端侧部署提速，NPU赋能终端算力革新》为题发表演讲。
从GPT-3.5到GPT-4.0，从多模态交互到插件支持，从闭源到开源，AI任务处理正加速从云侧向端侧迁移，NPU及其生态迎来全新的发展阶段。安谋科技产品总监杨磊谈道，生成式AI正逐步成为客户端设备上的人机交互界面，而具备100亿参数级别的大模型已成为现有终端设备的最佳匹配规格。
然而，在终端部署这类AI大模型时，仍面临成本、功耗及软件生态等多重挑战。在当前大模型发展的硬件驱动方面，杨磊认为异构计算才是本地部署端侧大模型的理想选择，它能最大限度地提升SoC的性能、能效以及面积利用率。其中，NPU作为端侧AI应用的关键算力资源，将为大模型的分布式落地演进提供核心动力。
当前，随着大模型持续向边缘侧和端侧渗透，AI计算和推理工作逐步由云端迁移至手机、PC、智能汽车等终端产品上运行。在这一过程中，NPU能够以其更简单的控制流、更高的效率以及更低的功耗，处理AI工作负载。安谋科技自研

原文链接：安谋科技杨磊：抢占端侧大模型部署制高点，NPU将为端侧提供关键动力丨GenAICon 2024

联系作者

文章来源：智东西
作者微信：zhidxcom
作者简介：智能产业新媒体！智东西专注报道人工智能主导的前沿技术发展，和技术应用带来的千行百业产业升级。聚焦智能变革，服务产业升级。