清华提出时间序列大模型：面向通用时序分析的生成式Transformer | ICML 2024

AIGC动态欢迎阅读

原标题：清华提出时间序列大模型：面向通用时序分析的生成式Transformer | ICML 2024
关键字：模型,序列,时序,数据,领域
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：LRST 好困
【新智元导读】大模型在语言、图像领域取得了巨大成功，时间序列作为多个行业的重要数据类型，时序领域的大模型构建尚处于起步阶段。近期，清华大学的研究团队基于Transformer在大规模时间序列上进行生成式预训练，获得了任务通用的时序分析模型，展现出大模型特有的泛化性与可扩展性时间序列提供了数据随时间变化的视角，对于理解复杂系统、预测未来变化和制定决策规划至关重要，在金融、气象、医疗、供应链等多个行业中发挥着至关重要的作用。
近年来，基于深度学习开发的模型在时序分析领域取得了突破性进展。然而，相较于语言、视觉大模型的蓬勃发展，现有模型依然面临若干瓶颈：
（1）泛化性：模型能处理训练时未遇到的新数据；或在数据稀缺时，根据有限的训练数据快速适配。然而，即便是目前领域前沿的时序模型，在少样本场景下依然会产生明显的性能劣化。时序预测模型PatchTST在不同数据稀缺条件下的效果
（2）通用性：小型深度模型训练后仅适合单一任务和场景，具有固定输入输出长度，适配的变量数等难以泛化的性质，难以像大语言模型一样，适用于各类下游任务，例如T5，LLaMA和BLOOM等。
（

原文链接：清华提出时间序列大模型：面向通用时序分析的生成式Transformer | ICML 2024