两只羊驼掐头去尾拼一起,屠榜HuggingFace

AIGC动态11个月前发布 量子位
22 0 0

两只羊驼掐头去尾拼一起,屠榜HuggingFace

AIGC动态欢迎阅读

原标题:两只羊驼掐头去尾拼一起,屠榜HuggingFace
关键字:报告,模型,数据,版本,基础
文章来源:量子位
内容字数:2333字

内容摘要:


梦晨 发自 凹非寺量子位 | 公众号 QbitAIHuggingFace开源大模型排行榜,又被屠榜了。
前排被清一色的SOLAR 10.7B微调版本占据,把几周之前的各种Mixtral 8x7B微调版本挤了下去。
SOLAR大模型什么来头?
相关论文刚刚上传到ArXiv,来自韩国公司Upstage AI,使用了新的大模型扩展方法depth up-scaling(DUS)。
简单来说就是两只7B羊驼掐头去尾,一只砍掉前8层,一只砍掉后8层。
剩下两个24层缝合在一起,第一个模型的第24层与第二个模型的第9层拼接,最后变成新的48层10.7B大模型。
论文声称新方法超过传统扩展方法如MoE,而且可以与沿用基础大模型完全相同的基础设施。
不需要门控网络等附加模块,针对MoE优化训练框架了,也不需要自定义CUDA内核来快速推理,可以无缝集成到现有方法中,同时保持高效。
团队选择7B规模最强的单体大模型Mistral 7B作为底材,用新方法拼接起来,再超越原版以及MoE版。
同时,经过对齐的Instruct版本也超越对应的MoE Instruct版本。
将缝合进行到底为什么是这种拼接方式,论文中


原文链接:两只羊驼掐头去尾拼一起,屠榜HuggingFace

联系作者

文章来源:量子位
作者微信:QbitAI
作者简介:追踪人工智能新趋势,关注科技行业新突破

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...