Scaling Law 又一次性感了吗？

AIGC动态欢迎阅读

原标题：Scaling Law 又一次性感了吗？
关键字：解读,模型,报告,数据,性能
文章来源：机器之心
内容字数：5016字

内容摘要：

专题解读
事件：Sora 的出现被认为是 Scaling Law 的又一次成功，这也引起了社区中更多对 Scaling Law 的讨论。
自 OpenAI 发布 Sora，业界对该模型的能力及其所带来的影响和机会讨论不断。虽然 OpenAI 没有放出 Sora 的训练细节，但在其技术报告中又一次强调该公司所拥护的核心理念——Scaling Law。即，支持 Sora 的 Diffusion Transformer 模型同样符合 Scale effectively），随着训练计算量增加，视频质量显著提升。这让 Scaling Law 再次成为人工智能领域的热点话题。
Scaling Law 是什么？
1、针对语言模型的 Scaling Law 来自 OpenAI 2020 年发布的论文，其释义可简要总结为：随着「模型大小」、「数据集大小」、「（用于训练的）计算浮点数」的增加，模型的性能会提高。当不受其他两个因素的制约时，模型性能与每个单独的因素都有幂律关系。
① 模型性能受三个因素共同影响，其中计算量对性能的提升最为显著，其次是模型参数，而数据集大小的影响相对较小。在资源不受限制的情况下

原文链接：Scaling Law 又一次性感了吗？

联系作者

文章来源：机器之心
作者微信：almosthuman2014
作者简介：专业的人工智能媒体和产业服务平台