LingBot-Video

LingBot-Video – 蚂蚁灵波开源面向具身智能的视频模型

LingBot-Video，一款由蚂蚁灵波科技推出的创新性基础模型，堪称全球首个专为具身智能设计的 MoE 视频生成利器。它巧妙融合了 DiT 与 MoE（Mixture-of-Experts）架构，尽管拥有高达 300 亿的总参数，却仅需激活约 30 亿，在保持庞大容量的同时，实现了高效的推理能力。

LingBot-Video 的独特之处

LingBot-Video 不仅仅是一个视频生成模型，它更是具身智能领域的里程碑。该模型集成了长达 7 万小时的互联网及机器人领域数据，并通过多维度强化学习奖励机制，精准对齐了物理世界的合理性与任务的完成度。在 RBench 和 Physics-IQ 两项关键评测中，LingBot-Video 均斩获榜首，能够生成符合真实物理规律的机器人操作及交互视频。

LingBot-Video 的核心能力概览

多模态视频创作：支持从文本或图像生成视频（T2V、TI2V），以及文本生成图像（T2I），覆盖了开放世界场景以及具身任务的广泛需求。
精准机器人动作预测：能够生成机械臂、人形机器人、四足机器人等各类机器人的详细动作序列，并准确预测接触状态。
逼真物理仿真视频：模拟材料变形、流体、光线反射等复杂的物理现象，生成高度真实的仿真视频。
高效仿真数据合成：为机器人策略训练提供海量、低成本且物理上合理的视频数据，极大加速训练过程。
世界模型研究的基石：作为强大的物理世界模拟器，为机器人策略评估和动作规划提供坚实支撑。

LingBot-Video 的技术精髓

DiT 与稀疏 MoE 架构的协同：模型采用 Single-Stream Diffusion Transformer 统一处理视觉潜码和条件 token。通过 MoE 替代传统的密集前馈网络（FFN），在 300 亿总参数下仅激活 30 亿，实现了约 3 倍的推理加速。128 个精细化的路由专家（routed experts）与共享专家协同工作，借助 top-K 路由机制，能够精准捕捉不同物理模式，有效避免了子任务间的干扰。
数据画像引擎与海量具身数据：在海量互联网视频的基础上，LingBot-Video 引入了 VLA、VLN、Ego 等机器人领域特有的数据，全面覆盖了灵巧操作、导航以及第一视角交互等场景，使模型能够深入学习动作与环境变化的内在联系。
多维度强化学习奖励对齐：在训练过程中，除了考量美学、提示词跟随和一致性外，还额外引入了物理合理性和任务完成度作为奖励信号。同时，利用真实世界视频作为偏好信号，确保生成结果不仅符合物理规律，更能满足机器人任务的实际需求。
统一输入与 3D RoPE 的革新：T2I/T2V/TI2V 等任务被统一处理为单序列 token。通过多模态 3D MM-RoPE 技术，将条件 token 与视觉 token 精确映射到非重叠的时空坐标，消除了对任务特定架构的依赖，同时保持了空间局部性和时序的连续性。
级联生成与稳定训练策略：模型采用了 base generator + refiner 的级联设计，base 生成器负责输出紧凑的潜码，而 refiner 则负责提升细节表现。结合 QK-Norm、AdaLN-Single 调制以及无辅助损失的序列级负载均衡策略，成功保障了长序列、高分辨率训练的稳定性。

LingBot-Video 的使用指南

环境准备：请确保您的本地或服务器环境已安装 Python 3.10+ 和 CUDA，并预留充足的显存空间。
克隆代码库：从 GitHub 克隆 LingBot-Video 的官方代码库至您的工作目录。
安装依赖库：根据项目提供的 requirements.txt 文件，安装所有必需的深度学习和推理库。
下载模型权重：从 HuggingFace 或 ModelScope 下载对应规模的模型 checkpoint 文件。
准备输入提示：将您的文本描述、参考图像或结构化控制信号整理成模型支持的输入格式。
执行推理生成：加载模型后，运行生成脚本，即可输出具身智能或开放世界风格的视频。

LingBot-Video 的突出优势

全球首创的开源具身 MoE 模型：填补了面向机器人领域的开源视频基础模型空白。
容量与效率的完美平衡：在 300 亿参数规模下仅激活 30 亿，推理速度比同等规模的密集架构快约 3 倍，非常适合实时交互场景。
物理合理性上的卓越表现：在 RBench（0.620）和 Physics-IQ Verified 评测中均位列第一，表现优于 Wan2.6、Seedance 1.5 Pro、Cosmos 3 等模型。
专业化数据注入：通过整合 7 万小时的机器人数据，使模型能够深刻理解动作与环境之间的因果关系，而非仅仅模仿视觉风格。
统一任务处理框架：T2I/T2V/TI2V 等任务在一个模型中统一处理，有效降低了多任务部署的成本。

LingBot-Video 的项目链接

官方网站：https://technology.robbyant.com/lingbot-video
GitHub 仓库：https://github.com/Robbyant/lingbot-video
HuggingFace 模型库：https://huggingface.co/collections/robbyant/lingbot-video
arXiv 技术论文：https://arxiv.org/pdf/2607.07675

LingBot-Video 与竞品的深度对比

维度	LingBot-Video	NVIDIA Cosmos 3 Super
研发背景	蚂蚁灵波科技（Robbyant）开源发布，专注于具身智能视频生成。	NVIDIA 于 2026 年 6 月发布，旨在成为面向物理 AI 与机器人训练的全模态世界模型。
架构设计	基于 DiT 的 Single-Stream Sparse MoE，统一处理 T2I/T2V/TI2V。	采用 Mixture-of-Transformers（MoT）双塔架构，自回归 Transformer 处理文本，扩散 Transformer 处理连续模态。
参数规模	总参数 300 亿，激活约 30 亿，实现容量与效率的解耦。	Super 版本总参数 640 亿，Nano 版本为 160 亿，全参数激活。
模态支持	文本、图像、视频，侧重于视觉生成与动作条件建模。	文本、图像、视频、音频、动作序列，支持全模态输入输出。
训练数据	7 万小时互联网视频，结合 VLA/VLN/Ego 机器人数据，注入动作与环境动态先验。	20 万亿 token，包含约 10 亿图像、4 亿真实与合成视频及环境音频，涵盖机器人、驾驶、仓储等多种场景。
开源程度	模型权重、代码、技术报告完全开源，社区可下载与二次开发。	模型权重与代码以 OpenMDW 1.1 协议开源，允许商用，并配套提供合成数据集与评测基准。
RBench 表现	得分 0.620，在公开对比中位居首位。	得分 0.581，在部分评测中处于开源模型前列。
Physics-IQ	在 Physics-IQ Verified 评测中排名第一。	I2V 43.8 分、V2V 59.7 分，在对应榜单中达到 SOTA 水平。
推理效率	300 亿总参数仅激活 30 亿，推理速度约为同规模密集架构的 3 倍。	640 亿全参数激活，需要 H100 级硬件支持，Nano 版本经过优化以实现更快的推理。