8张3090，1天压缩万亿参数大模型！3.2TB骤降至160GB，压缩率高达20倍

AIGC动态欢迎阅读

原标题：8张3090，1天压缩万亿参数大模型！3.2TB骤降至160GB，压缩率高达20倍

关键字：模型,研究人员,参数,内核,专家

文章来源：新智元

内容字数：5479字

内容摘要：新智元报道编辑：好困【新智元导读】最近，来自ISTA的研究人员提出了一种全新的模型量化方法QMoE，可以将1.6万亿个参数的SwitchTransformer压缩到160GB以下（每个参数0.8位），且精度损失很小。随着GPT-4的架构被知名业内大佬「开源」，混合专家架构（MoE）再次成为了研究的重点。GPT-4拥有16个专家模型，总共包含1.8万亿个参数。每生成一个token需要使用大约2800…

原文链接：点此阅读原文：8张3090，1天压缩万亿参数大模型！3.2TB骤降至160GB，压缩率高达20倍

联系作者

文章来源：新智元

作者微信：AI_era

作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。