让CPU跑大模型该怎么做？阿里云交出答卷：AI推理速度飙升7倍

AIGC动态欢迎阅读

原标题：让CPU跑大模型该怎么做？阿里云交出答卷：AI推理速度飙升7倍
关键字：阿里,英特尔,模型,性能,实例
文章来源：智东西
内容字数：5640字

内容摘要：

阿里云ECS g8i整机性能最高提升85%，可支撑720亿参数规模的大语言模型。
作者|程茜
编辑|漠影
AI应用落地加速，对推理的性能提出了更加苛刻的要求。
就在上周，阿里云重磅升级了第八代企业级通用计算实例ECS g8i，国内首款搭载英特尔第五代至强可扩展处理器Emerald Rapids的实例。相比上一代，g8i整机性能最高提升85%，AI推理性能最高提升7倍，可支撑720亿参数规模的大语言模型，帮助中小规模模型起建成本降低50%。
阿里云ECS g8i的发布证明，为AI大模型提供算力的不只有GPU和AI芯片，基于CPU的通用算力正在打破过去业界的固有认知。
钉钉联合国际知名咨询机构IDC预测，随着AIGC技术发展，智能化应用将呈现爆发式井喷，2024年全球将出现5亿个新应用，不同应用对算力的需求将是多样化的，这一背景下，业内开始探索CPU算力在AI推理的潜力。
在阿里云第八代企业级通用计算实例ECS g8i发布之际，智东西与阿里云弹性计算产品线副总经理王志坤、阿里云弹性计算高级产品专家姬少晨进行了深入交流，深度探讨CPU算力在AI推理方面的独特优势，以及面临大量AI创新应用的涌

原文链接：让CPU跑大模型该怎么做？阿里云交出答卷：AI推理速度飙升7倍

联系作者

文章来源：智东西
作者微信：zhidxcom
作者简介：智能产业新媒体！智东西专注报道人工智能主导的前沿技术发展，和技术应用带来的千行百业产业升级。聚焦智能变革，服务产业升级。