Scaling Law的尽头是什么？｜甲子引力X

AIGC动态欢迎阅读

原标题：Scaling Law的尽头是什么？｜甲子引力X
关键字：模型,数据,问题,架构,效果
文章来源：甲子光年
内容字数：24494字

内容摘要：

大模型的“摩尔定律”。2024年5月15日，由中国科技产业智库「甲子光年」主办、中关村东升科学城协办的「AI创生时代——2024甲子引力X科技产业新风向」大会在北京举办。
在当日下午举行的“AI技术范式的变革：Scaling Law的尽头是什么”圆桌环节，百度集团副总裁侯震宇、中国人民大学高瓴人工智能学院教授卢志武、清智资本创始合伙人张煜、新浪微博新技术研发负责人张俊林、RWKV元始智能COO罗璇与甲子光年高级分析师王艺一起探讨了Scaling Law的发展趋势。
Scaling Law是大模型的“摩尔定律”，它指引了大模型按照大算力、大参数、大数据的方向前行。但对于Scaling Law的发展前景，业内看法不一。
侯震宇坚定地支持Scaling Law，并认为至少在当前，Scaling Law仍然有效且潜力巨大。他还提到了摩尔定律和安迪-比尔定律，认为Scaling Law在AI领域也呈现出类似的效应，即算力的增长被算法和数据的需求所消耗。
卢志武表示有条件地支持Scaling Law，认为它在实现AGI方面可能不够充分。他提出可能需要更好的模型架构，并指出Transformer模型

原文链接：Scaling Law的尽头是什么？｜甲子引力X

联系作者

文章来源：甲子光年
作者微信：jazzyear
作者简介：甲子光年是一家科技智库，包含智库、社群、企业服务版块，立足中国科技创新前沿阵地，动态跟踪头部科技企业发展和传统产业技术升级案例，推动人工智能、大数据、物联网、云计算、新能源、新材料、信息安全、大健康等科技创新在产业中的应用与落地。