AI Scaling的神话

AI Scaling的神话

AIGC动态欢迎阅读

原标题:AI Scaling的神话
关键字:模型,数据,能力,成本,数量级
文章来源:人工智能学家
内容字数:0字

内容摘要:


截至目前,语言模型越来越大,能力也越来越强,但过去的表现能预测未来吗?
一种流行的观点是,我们应该期待当前的趋势继续保持下去,并且出现更多数量级,这最终可能会引领我们实现AGI。
本文作者认为,这种观点来自于一系列神话和误解。从表面上看,规模扩展(Scaling)具有可预测性,但这是对研究成果的误解。此外,有迹象表明,LLM开发者已经接近高质量训练数据的极限。而且,模型行业正面临着模型尺寸的强烈下行压力。虽然现在无法准确地预测AI通过扩展能取得多大进展,但作者认为仅靠扩展几乎不可能实现AGI。
(本文作者Arvind Narayanan是普林斯顿大学计算机科学教授,Sayash Kapoor是普林斯顿大学计算机科学博士生。本文由OneFlow编译发布,转载请联系授权。来源:https://www.aisnakeoil.com/p/ai-scaling-myths)作者|ARVIND NARAYANAN、SAYASH KAPOOR
OneFlow编译翻译|张雪聃、凌小雨
题图由SiliconCloud生成1扩展“定律”常被误解有关扩展定律的研究表明,如果增加模型大小、训练计算量和数据集大


原文链接:AI Scaling的神话

联系作者

文章来源:人工智能学家
作者微信:
作者简介:

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...