陈丹琦团队新作：5%成本拿下SOTA，“羊驼剪毛”大法火了

AIGC动态欢迎阅读

原标题：陈丹琦团队新作：5%成本拿下SOTA，“羊驼剪毛”大法火了

关键字：模型,表示,数据,团队,规模

文章来源：量子位

内容字数：3618字

内容摘要：梦晨 发自 凹非寺量子位 | 公众号 QbitAI只用3%的计算量、5%的成本取得SOTA，统治了1B-3B规模的开源大模型。这一成果来自普林斯顿陈丹琦团队，名为LLM-Shearing大模型剪枝法。以羊驼LLaMA 2 7B为基础，通过定向结构化剪枝得到1.3B和3B剪枝后的Sheared-LLama模型。分别在下游任务评估上超越之前的同等规模模型。一作夏梦舟表示，“比从头开始预训练划算很多”。…

原文链接：点此阅读原文：陈丹琦团队新作：5%成本拿下SOTA，“羊驼剪毛”大法火了

联系作者

文章来源：量子位

作者微信：QbitAI

作者简介：追踪人工智能新趋势，关注科技行业新突破