大模型算力的「热」与 10 亿万卡成本的「冷」思考

AIGC动态欢迎阅读

原标题：大模型算力的「热」与 10 亿万卡成本的「冷」思考
关键字：模型,中心,服务器,成本,机柜
文章来源：AI科技评论
内容字数：10541字

内容摘要：

大模型原生应用仍未爆发，谁能cover动辄10亿/年的万卡成本？作者丨郭 思
编辑丨陈彩娴
人工智能的快速发展催生了智算中心这个概念。自 2023 年下半年起，中国智能计算中心的建设速度明显提升。
据不完全统计，目前已有超过30个城市投身于智算中心的建设或规划之中。
一方面，随着生成式人工智能的飞速进步和对大模型需求的急剧膨胀，处理和分析海量数据所需的强大算力变得至关重要。
另一方面，市场在追求规模效应的过程中，出现了盲目超前的建设和大量囤积现象，导致对需求的管理不够精细，运营过程缺乏透明度和监管，从而引发了智算中心的空转甚至停机问题。这不仅未能充分利用设备生命周期的潜在价值，还造成了资源和资金的浪费。
实际上，空转率在算力行业并非鲜见，它是一个重要的指标，无论人工智能需求量大小，都需关注。即便在我们的日常生活中，家用 PC 也存在空转率问题。然而，大模型的爆炸式增长使得这一问题变得尤为关键，只是由于现在行业仍处于一卡难求的供不应求时期，它的紧迫性尚不显著。
大模型加码，算力行业迎来新的机遇，在这波热潮之下，对于整个算力的部署，我们也需要一些不一样的冷思考。1运行一座 AI 智算中心需

原文链接：大模型算力的「热」与 10 亿万卡成本的「冷」思考

联系作者

文章来源：AI科技评论
作者微信：aitechtalk
作者简介：雷峰网旗下AI新媒体。聚焦AI前沿研究，关注AI工程落地。