AI Scaling的神话

AIGC动态欢迎阅读

原标题：AI Scaling的神话
关键字：模型,数据,能力,成本,数量级
文章来源：人工智能学家
内容字数：0字

内容摘要：

截至目前，语言模型越来越大，能力也越来越强，但过去的表现能预测未来吗？
一种流行的观点是，我们应该期待当前的趋势继续保持下去，并且出现更多数量级，这最终可能会引领我们实现AGI。
本文作者认为，这种观点来自于一系列神话和误解。从表面上看，规模扩展（Scaling）具有可预测性，但这是对研究成果的误解。此外，有迹象表明，LLM开发者已经接近高质量训练数据的极限。而且，模型行业正面临着模型尺寸的强烈下行压力。虽然现在无法准确地预测AI通过扩展能取得多大进展，但作者认为仅靠扩展几乎不可能实现AGI。
（本文作者Arvind Narayanan是普林斯顿大学计算机科学教授，Sayash Kapoor是普林斯顿大学计算机科学博士生。本文由OneFlow编译发布，转载请联系授权。来源：https://www.aisnakeoil.com/p/ai-scaling-myths）作者｜ARVIND NARAYANAN、SAYASH KAPOOR
OneFlow编译翻译｜张雪聃、凌小雨
题图由SiliconCloud生成1扩展“定律”常被误解有关扩展定律的研究表明，如果增加模型大小、训练计算量和数据集大

原文链接：AI Scaling的神话