拿CPU搞AI推理，谁给你的底气？

AIGC动态欢迎阅读

原标题：拿CPU搞AI推理，谁给你的底气？
关键字：英特尔,模型,解读,处理器,矩阵
文章来源：量子位
内容字数：7612字

内容摘要：

金磊梦晨发自凹非寺量子位 | 公众号 QbitAI大模型的训练阶段我们选择GPU，但到了推理阶段，我们果断把CPU加到了菜单上。
量子位在近期与众多行业人士交流过程中发现，他们中有很多人纷纷开始传递出上述的这种观点。
无独有偶，Hugging Face在官方优化教程中，也有数篇文章剑指“如何用CPU高效推理大模型”：
而且细品教程内容后不难发现，这种用CPU加速推理的方法，所涵盖的不仅仅是大语言模型，更是涉猎到了图像、音频等形式的多模态大模型。
不仅如此，就连主流的框架和库，例如TensorFlow和PyTorch等，也一直在不断优化，提供针对CPU的优化、高效推理版本。
就这样，在GPU及其他专用加速芯片一统AI训练天下的时候，CPU在推理，包括大模型推理这件事上似乎辟出了一条“蹊径”，而且与之相关的讨论热度居然也逐渐高了起来。
至于为什么会出现这样的情况，与大模型的发展趋势可谓是紧密相关。
自从ChatGPT问世引爆了AIGC，国内外玩家先是以训练为主，呈现出一片好不热闹的百模大战；然而当训练阶段完毕，各大模型便纷纷踏至应用阶段。
就连英伟达在公布的最新季度财报中也表示，18

原文链接：拿CPU搞AI推理，谁给你的底气？