时序大模型突破十亿参数！新混合专家架构，普林斯顿格里菲斯等机构出品

AIGC动态欢迎阅读

原标题：时序大模型突破十亿参数！新混合专家架构，普林斯顿格里菲斯等机构出品
关键字：模型,时序,序列,精度,数据
文章来源：量子位
内容字数：0字

内容摘要：

TimeMoE团队 投稿自 凹非寺量子位 | 公众号 QbitAI时序大模型，参数规模突破十亿级别。
来自全球多只华人研究团队提出了一种基于混合专家架构（Mixture of Experts, MoE）的时间序列基础模型——Time-MoE。
据了解，该模型首次将时间序列预训练大模型的参数规模推向十亿级别。
Time-MoE模型通过MoE架构的独特优势，将模型参数成功扩展至24亿，不仅显著提升了预测精度，还在降低计算成本的同时超越了众多现有模型，全面达到了SOTA（State of the Art）水平。
与此同时，团队精心整理了预训练数据集Time-300B，这是目前时序领域最大的公开数据集，为各类时序任务提供了通用解决方案。
十亿参数时序大模型这篇文章主要有以下三点技术突破：
强大的混合专家架构：Time-MoE采用稀疏激活机制，在预测任务中仅激活部分网络节点，这不仅确保了高预测精度，还显著降低了计算负担，完美解决了时序大模型在推理阶段的计算瓶颈。
灵活的预测范围：Time-MoE支持任意长度的输入和输出范围，能够处理从短期到长期的各种时序预测任务，实现了真正的全域时序预测。
全球

原文链接：时序大模型突破十亿参数！新混合专家架构，普林斯顿格里菲斯等机构出品

联系作者

文章来源：量子位
作者微信：
作者简介：