Aether

Aether – 上海 AI Lab 开源的生成式世界模型

Aether：智能空间推理与决策的前沿模型

Aether 是由上海AI Lab开源的性生成式世界模型，完全依赖合成数据进行训练。其创新之处在于将三维时空建模与生成式建模深度融合，展现出强大的4D动态重建、动作条件视频预测和目标导向视觉规划三大核心功能。Aether能够感知周围环境，理解物体的位置与关系，从而进行智能决策。在真实世界中，Aether以其卓越的零样本泛化能力，凭借虚拟数据训练高效完成复杂任务，为具身智能系统提供强大的空间推理和决策支持。

Aether是什么

Aether 是一个先进的生成式世界模型，致力于将三维时空建模与生成式建模实现深度整合。通过合成数据的训练，Aether不仅能够感知环境，还能对物体的位置和关系进行深入理解，从而做出智能决策。这一模型在真实环境中展现出强大的零样本泛化能力，使其能够在没有真实数据的情况下，凭借虚拟数据高效解决复杂任务，为具身智能系统提供了强有力的空间推理和决策支持。

Aether的主要功能

4D动态重建：能够从视频中重建包含时间和空间信息的三维场景模型，捕捉动态变化。
动作条件视频预测：依据初始观察和动作轨迹，预测未来场景的变化。
目标导向视觉规划：根据起始和目标场景生成合理路径，辅助智能系统规划行动路线。

Aether的技术原理

统一多任务框架：将动态重建、视频预测和动作规划三项任务联合在一个框架中进行优化，借助任务间的特征学习，实现不同任务之间的协同优化，增强模型的稳定性和鲁棒性。
几何感知建模：通过引入三维时空建模，构建几何空间，提升模型的空间推理能力。利用大量仿真RGBD数据（彩像和深度图），开发出完整的数据清洗与动态重建流程，并标注丰富的动作序列。
相机轨迹作为动作表征：选择相机轨迹作为全局动作的表示。在导航任务中，相机轨迹直接对应导航路径；在机器人操作中，手柄相机的则能捕捉末端执行器的6D。
扩散模型与多模态融合：基于预训练的视频扩散模型，利用合成4D数据进行后训练。将深度视频转换为尺度不变的归一化视差表示，将相机轨迹编码为与扩散变换器（DiTs）时空框架对齐的尺度不变射线图序列。通过动态整合跨任务和跨模态的条件信号，Aether实现多模态信息的融合与协同优化。
零样本泛化能力：完全依赖虚拟数据进行训练，成功实现对真实世界的零样本泛化。通过组合不同的条件输入（如观察帧、目标帧和动作轨迹），结合扩散过程，Aether能够实现对多种任务的统一建模与生成，展现出在没有真实世界数据的情况下，迁移到真实场景中的卓越表现。