贾扬清：大模型尺寸正在重走CNN的老路；马斯克：在特斯拉也是这样

AIGC动态欢迎阅读

原标题：贾扬清：大模型尺寸正在重走CNN的老路；马斯克：在特斯拉也是这样
关键字：模型,参数,规模,趋势,尺寸
文章来源：量子位
内容字数：0字

内容摘要：

衡宇发自凹非寺量子位 | 公众号 QbitAITransformer大模型尺寸变化，正在重走CNN的老路！
看到大家都被LLaMA 3.1吸引了注意力，贾扬清发出如此感慨。
拿大模型尺寸的发展，和CNN的发展作对比，就能发现一个明显的趋势和现象：
在ImageNet时代，研究人员和技术从业者见证了参数规模的快速增长，然后又开始转向更小、更高效的模型。
听起来，是不是和GPT哐哐往上卷模型参数，业界普遍认同Scaling Law，然后出现GPT-4o mini、苹果DCLM-7B、谷歌Gemma 2B如出一辙？
贾扬清笑称，“这是前大模型时代的事儿，很多人可能都不咋记得了：）”。
而且，贾扬清不是唯一一个感知到这一点的人，AI大神卡帕西也这么觉得：
大模型尺寸的竞争正在加剧……但是卷的方向反着来了！
模型必须先追求“更大”，然后才能追求“更小”，因为我们需要这个过程，帮咱把训练数据重构成理想的、合成的格式。
他甚至拍着胸脯打赌，表示我们一定能看到又好、又能可靠地思考的模型。
而且是参数规模很小很小的那种。
连马斯克都在卡帕西的评论区连连称是：
以上，大概可以称之为“大佬所见略同”。

原文链接：贾扬清：大模型尺寸正在重走CNN的老路；马斯克：在特斯拉也是这样