AI基础设施：在大模型成长放缓的时代，仍然值得投资的黄金机会！

AI Infra 格局呈现两个极端：海外被巨头垄断，而国内则过于分散。

原标题：当大模型升级速度变缓，AI Infra 还是一门「好生意」吗？
文章来源：智猩猩GenAI
内容字数：11155字

2024中国生成式AI大会即将召开

2024中国生成式AI大会将于12月5-6日在上海举办，届时将有20多位嘉宾参与演讲。嘉宾包括来自上海交大的副教授戴国浩、GMI Cloud亚太区总裁King.Cui等知名业内人士，讨论AI基础设施（AI Infra）的现状与未来发展。

国内AI Infra市场现状

目前，国内AI Infra市场呈现出分散化的特点，与海外市场的巨头垄断形成鲜明对比。清华系在中国大模型创业中占据重要地位，多个创企如清昴智能、无问芯穹等均来自清华实验室。当前的创业重点在于将各类模型与芯片进行深度适配，以减少算力资源闲置并降低成本。

推理成本与MaaS平台挑战

推理成本的降低是大模型应用落地的关键。尽管创业公司纷纷布局MaaS（模型即服务）平台，但行业内对这一模式存在分歧。一些创业者担心与大型大模型公司竞争的压力，认为不做优质大模型将难以在推理平台上立足。

端侧推理的未来

随着需求的增长，端侧大模型推理处理器的开发逐渐受到关注。无问芯穹计划推出端侧大模型推理处理器，预计将在明年实现落地。这表明，端侧硬件在未来将扮演重要角色。

国内外市场的不同挑战

中美市场的差异使得创业的难度不同。虽然海外市场相对成熟，但也因巨头的存在而导致必要性不强。国内芯片厂商则处于分散状态，面临技术统一和生态建设的挑战。

未来展望与结论

随着AI Infra创业的不断探索，业内观点碰撞加剧。无论是MaaS平台的竞争，还是异构混训的可行性，各家企业都在努力寻找商机。总体来看，AI Infra的重要性日益凸显，国产算力问题仍是未来发展的关键。

联系作者

文章来源：智猩猩GenAI
作者微信：
作者简介：智猩猩旗下矩阵账号之一，聚焦大模型开启的通用人工智能浪潮。