张俊林：关于Scaling Law、半合成数据、MOE及长文本

AIGC动态欢迎阅读

原标题：张俊林：关于Scaling Law、半合成数据、MOE及长文本
关键字：模型,数据,侵权,知乎,问题
文章来源：算法邦
内容字数：0字

内容摘要：

直播预告 | 6月18日上午10点，「智猩猩AI新青年讲座」第240讲正式开讲，邀请到德州大学奥斯汀分校刘星超博士将直播讲解《利用直线概率流加速Stable Diffusion的训练推理》，欢迎扫名~导读本文来自知乎，作者为张俊林博士。本文只做学术/技术分享，如有侵权，联系删文。
本文为张俊林博士参加甲子光年圆桌论坛，对AI模型发展的深入讨论做的整理，包括Scaling Law的成立性、合成数据的潜力、Transformer以外的模型架构、MOE模型的挑战以及长文本处理的创新方法。原文链接：https://zhuanlan.zhihu.com/p/700622253以下内容是5月15日甲子光年圆桌论坛讨论内容，涉及Scaling Law、合成数据与“半合成数据”、与Transformer不同的新模型结构、MOE及Long Context等问题。
一、是否相信Scaling Law？
王艺：围绕Scaling Law有很多的争议，有些人是坚定的信仰者，觉得只要堆数据、堆算力就能带领我们达到AGI；但是也有人认为你无限堆数据和算力并不能无限提升模型的性能，它其实会慢慢趋向于一个固定的

原文链接：张俊林：关于Scaling Law、半合成数据、MOE及长文本