关键拐点即将到来。
原标题:PPIO CEO姚欣:AI应用即将迎来免费时代|甲子引力
文章来源:甲子光年
内容字数:10461字
PPIO派欧云CEO姚欣:AI推理成本下降将引爆应用免费时代
本文总结了PPIO派欧云CEO姚欣在“万千流变,一如既往”2024甲子引力年终盛典上的演讲要点,核心观点是:AI推理成本的快速下降将成为关键拐点,引领AI应用进入免费时代。
1. 算力过剩与需求变迁
姚欣指出,当前AI领域面临供需两侧的挑战。供给侧,智算中心建设热潮后,利用率偏低,面临“算力过剩”风险,类似于几年前IDC数据中心的经历。需求侧,经历了2023年上半年的大模型创业热潮后,热度降温,大模型正从To VC阶段转向To B落地阶段,未来将走向To C阶段。当前制约AI应用爆发的关键在于高昂的推理成本。
2. 推理成本优化策略
姚欣认为,推理成本优化主要从三个方面入手:
- 硬件降本:充分利用现有硬件资源,例如“梯次利用”已完成成本摊销的“老卡”(如A100)进行推理任务,以及寻找更便宜的电力资源等。
- 算力调度:根据推理需求的波峰波谷效应,优化资源配置,避免资源浪费。这需要借助人工智能和机器学习技术进行需求预测和智能调度。
- 推理加速:采用一系列技术手段,例如有损和无损优化,提升推理效率,克服GPU架构在推理任务中的瓶颈。
3. PPIO派欧云的实践与成果
PPIO派欧云通过在全国各地部署大量计算节点,整合各类算力资源,并结合先进的算力调度和推理加速技术,显著降低了推理成本。例如,一个典型的8B模型,百万token的费用从今年4月的0.1美元下降到11月的4分钱,预计明年4月将进一步下降至当时的1/10。 这使得PPIO派欧云能够为客户提供高性价比的服务,并帮助客户实现业务增长,例如帮助小说推文APP降低70%的推理成本并提升5倍生图速度,以及帮助全球Top10招聘网站减少人力需求。
4. AI应用的免费时代即将到来
姚欣预测,2025-2026年是AI的转折年。随着AI推理成本每年近十倍的下降,关键拐点即将到来:通过免费广告模式,AI应用的收入将足以覆盖推理成本。这将推动AI应用进入“免费时代”,引爆C端市场,带来巨大的流量增长和行业变革。
联系作者
文章来源:甲子光年
作者微信:
作者简介:甲子光年是一家科技智库,包含智库、社群、企业服务版块,立足中国科技创新前沿阵地,动态跟踪头部科技企业发展和传统产业技术升级案例,推动人工智能、大数据、物联网、云计算、新能源、新材料、信息安全、大健康等科技创新在产业中的应用与落地。