端侧大模型火了，但CPU被低估了｜甲子光年

AIGC动态欢迎阅读

原标题：端侧大模型火了，但CPU被低估了｜甲子光年
关键字：模型,小米,报告,微软,终端
文章来源：甲子光年
内容字数：0字

内容摘要：

当前端侧推理的起点，未来端侧推理的支点。作者｜赵健
大模型火了之后，GPU也火了。一时间，GPU的持有量几乎成为了评估大模型成败的“度量衡”。
GPU很好，但不是大模型的全部。远比GPU诞生更早的处理器芯片——CPU，它在大模型中的地位可能被远远低估了。
尤其是在端侧大模型兴起之后，端侧推理越来越成为CPU的舞台。
过去大半年，端侧推理已经成为继“百模大战”之后下一个行业趋势，由此衍生的AI PC、AI手机等概念，也成为电脑厂商、手机厂商的兵家必争之地。
把大模型装在PC、手机或者其他硬件中，需要足够的算力来支撑，同时也需要兼顾效率和功耗。而CPU很可能是当前阶段端侧推理的算力最优解。1.端侧大模型火了
今天，如果你想体验业内最领先的大模型对话助手，无论是OpenAI的ChatGPT，还是国内的Kimi、智谱清言等，都必须要联网。这些大模型都部署在云端，适合编排涉及高级推理、数据分析和上下文理解的复杂任务的应用程序。
但是，云端模型不仅要消耗巨大的算力成本，还需要用户上传数据。出于对成本、数据隐私安全等方面的考量，把大模型部署在端侧，已成为大势所趋。
在大模型落地端侧的需求下，我们

原文链接：端侧大模型火了，但CPU被低估了｜甲子光年