又一千亿级大模型问世，全面开源！

AIGC动态欢迎阅读

原标题：又一千亿级大模型问世，全面开源！

关键字：模型,数据,能力,基础,方法

文章来源：夕小瑶科技说

内容字数：1995字

内容摘要：夕小瑶科技说 分享11月27日，浪潮信息发布“源2.0”基础大模型，并宣布全面开源。源2.0基础大模型包括1026亿、518亿、21亿等三种参数规模的模型，在编程、推理、逻辑等方面展示出了先进的能力。当前，大模型技术正在推动生成式人工智能产业迅猛发展，而基础大模型的关键能力则是大模型在行业和应用落地能力表现的核心支撑，但基础大模型的发展也面临着在算法、数据和算力等方面的诸多挑战。源2.0基础大模型则针对性地提出了新的改进方法并获得了能力的提升。算法方面，源2.0提出并采用了一种新型的注意力算法结构：局部注意力过滤增强机制(LFA：Localized Filtering-based Attention)。LFA通过先学习相邻词之间的关联性，然后再计算全局关联性的方法，能够更好地学习到自然语言的局部和全局的语言特征，对于自然语言的关联语义理解更准确、更人性，提升了模型的自然语言表达能力，进而提…

原文链接：点此阅读原文：又一千亿级大模型问世，全面开源！

联系作者

文章来源：夕小瑶科技说

作者微信：xixiaoyaoQAQ

作者简介：更快的AI前沿，更深的行业洞见。聚集25万AI应用开发者、算法工程师和研究人员。一线作者均来自清北、国外顶级AI实验室和互联网大厂，兼备媒体sense与技术深度。