贾扬清:大模型尺寸正在重走CNN的老路;马斯克:在特斯拉也是这样

AIGC动态4个月前发布 量子位
6 0 0

贾扬清:大模型尺寸正在重走CNN的老路;马斯克:在特斯拉也是这样

AIGC动态欢迎阅读

原标题:贾扬清:大模型尺寸正在重走CNN的老路;马斯克:在特斯拉也是这样
关键字:模型,参数,规模,趋势,尺寸
文章来源:量子位
内容字数:0字

内容摘要:


衡宇 发自 凹非寺量子位 | 公众号 QbitAITransformer大模型尺寸变化,正在重走CNN的老路!
看到大家都被LLaMA 3.1吸引了注意力,贾扬清发出如此感慨。
拿大模型尺寸的发展,和CNN的发展作对比,就能发现一个明显的趋势和现象:
在ImageNet时代,研究人员和技术从业者见证了参数规模的快速增长,然后又开始转向更小、更高效的模型。
听起来,是不是和GPT哐哐往上卷模型参数,业界普遍认同Scaling Law,然后出现GPT-4o mini、苹果DCLM-7B、谷歌Gemma 2B如出一辙?
贾扬清笑称,“这是前大模型时代的事儿,很多人可能都不咋记得了:)”。
而且,贾扬清不是唯一一个感知到这一点的人,AI大神卡帕西也这么觉得:
大模型尺寸的竞争正在加剧……但是卷的方向反着来了!
模型必须先追求“更大”,然后才能追求“更小”,因为我们需要这个过程,帮咱把训练数据重构成理想的、合成的格式。
他甚至拍着胸脯打赌,表示我们一定能看到又好、又能可靠地思考的模型。
而且是参数规模很小很小的那种。
连马斯克都在卡帕西的评论区连连称是:
以上,大概可以称之为“大佬所见略同”。


原文链接:贾扬清:大模型尺寸正在重走CNN的老路;马斯克:在特斯拉也是这样

联系作者

文章来源:量子位
作者微信:
作者简介:

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...