智源：70万预算从头开发千亿参数大模型，挑战成功

AIGC动态欢迎阅读

原标题：智源：70万预算从头开发千亿参数大模型，挑战成功

关键字：模型,参数,策略,团队,运算量

文章来源：量子位

内容字数：3359字

内容摘要：克雷西 发自 凹非寺量子位 | 公众号 QbitAI预算10万美元（约73万人民币），从头训练一个全新的千亿参数大模型。智源研究院与国内多所高校及南洋理工联合团队，挑战成功。要知道，当GPT-3的训练成本可是高达460万美元，近一些的Llama2据估算也大概是这个数。这个用10万美元训练出的大模型名叫FLM，拥有1010亿参数量，目前已经开源。得益于研究团队的新型训练策略，FLM只用了2.17%的…

原文链接：点此阅读原文：智源：70万预算从头开发千亿参数大模型，挑战成功

联系作者

文章来源：量子位

作者微信：QbitAI

作者简介：追踪人工智能新趋势，关注科技行业新突破