揭开Densing Law：大模型能力的新标准与未来潜力

实现大模型的能力密度约每3.3个月翻一倍。

原标题：对话面壁智能刘知远：Densing Law是大模型能力的另一个度量衡｜甲子光年
文章来源：甲子光年
内容字数：15125字

大模型能力密度的快速增长

随着大模型技术的不断发展，面壁智能的刘知远教授团队提出了“密度定律（Densing Law）”，即大模型的能力密度每3.3个月翻一倍。这意味着每过100天，我们可以用更少的参数实现相同的性能，预示着未来大模型技术将朝着更高效的方向发展。

1. Densing Law的定义与意义

Densing Law强调模型能力随着时间的推移以指数级增长，标志着大模型技术进入了一个新的阶段。近年来，随着算力和算法的协同发展，模型的智能表现得到了显著提升，推动了智能涌现现象的发生。

2. Densing Law的七个推论

根据Densing Law，可以得出以下几条重要结论：

• 模型参数规模每100天减少一半，能够实现相同的能力。
• 模型的尺寸与推理速度呈正相关，推理开销将呈指数级下降。
• 训练开销将随时间迅速下降，能耗和资源消耗将减少。
• 大模型的能力密度在ChatGPT发布后加速增强，倍增速度加快。
• 随着能力密度增强，端侧部署的模型将愈发高效。
• 现有的模型压缩技术可能导致能力密度下降，需从头训模型。
• 模型能力密度的倍增决定了模型的有效使用期，需充分利用其应用价值。

3. 对未来大模型的展望

刘知远教授指出，未来的端侧AI生态将迎来爆发点，预计在明年或后年可以用更少的参数实现当前最优模型的能力。大模型将像CPU一样无处不在，每个人都能使用高效的AI工具。

4. 技术发展的核心驱动力

面壁智能认为，未来大模型技术将依赖电力、算力和智力三大核心驱动力。通过不断降低模型和芯片的成本，推动技术进步，使每个人都能拥有属于自己的AI助手，实现智能。

综上所述，Densing Law的提出为大模型的发展提供了新的视角，强调了能力密度的提升和技术进步的重要性，未来大模型将在各个领域广泛应用，推动人工智能的普及与发展。

联系作者

文章来源：甲子光年
作者微信：
作者简介：甲子光年是一家科技智库，包含智库、社群、企业服务版块，立足中国科技创新前沿阵地，动态跟踪头部科技企业发展和传统产业技术升级案例，推动人工智能、大数据、物联网、云计算、新能源、新材料、信息安全、大健康等科技创新在产业中的应用与落地。