甲对话田渊栋：Scaling law代表一个非常悲观的未来｜甲子光年

AIGC动态欢迎阅读

原标题：甲对话田渊栋：Scaling law代表一个非常悲观的未来｜甲子光年
关键字：模型,报告,,数据,人类
文章来源：甲子光年
内容字数：0字

内容摘要：

Scaling law也许是对的，但不会是全部，因为scaling law本身代表一个非常悲观的未来——scaling law的本质是，用指数级的数据增长，来获得几个点的收益。最终人类世界可能会有很多长尾需求，需要人类的快速反应能力去解决，这些场景的数据本身也很少，LLM做不到。Scaling law发展到最后，可能每个人都站在一个数据孤岛上。作者｜甲 刘杨楠
对于研究者而言，预设一个判断、押注正确的方向，往往会决定学术成就的高远。当一切尚未验证时，多少需要朴素的直觉来支撑，而朴素直觉的背后，往往是一些关于是与非、能与否的底层信仰。
在人工智能领域，底层信仰的作用在被放大。比如，此刻人工智能有一些根本性的研究底色：Scaling law是否是唯一至上的纲？
大模型的scaling law最早由OpenAI在2020年的一篇论文中提出，其内涵是，大模型的最终性能主要与计算量、模型参数量和训练数据量三者的大小相关，而与模型的具体结构（层数/深度/宽度）基本无关。
放眼全球，很多人都将scaling law奉为圭臬，但聚光灯外也不乏一些质疑scaling law的“少数派”。田渊栋就是其

原文链接：甲对话田渊栋：Scaling law代表一个非常悲观的未来｜甲子光年

联系作者

文章来源：甲子光年
作者微信：jazzyear
作者简介：甲子光年是一家科技智库，包含智库、社群、企业服务版块，立足中国科技创新前沿阵地，动态跟踪头部科技企业发展和传统产业技术升级案例，推动人工智能、大数据、物联网、云计算、新能源、新材料、信息安全、大健康等科技创新在产业中的应用与落地。