Orbis

Orbis是什么

Orbis 是 Visko 推出的全球首个真正意义上的实时世界模型(Live Model),让 AI 视频像直播信号一样源源不断地持续运转。与传统 AI 视频工具”提交提示词—等待—拿到成片”的离线模式不同,Orbis 在生成过程中支持随时下达新指令,画面即时响应调整,无需等待成片。模型可实现 4K 分辨率下 24FPS 的实时流式输出,并凭借多尺度记忆架构,在长达数小时的连续生成中保持高度一致的画面质量。

OrbisVisko 官网首页:「We build Live Models to predict the world」(图源:visko.ai 官网 og:image)

通过引入因果时间分解和物理感知奖励机制,Orbis 让视频中的轨迹与交互逻辑极其逼真,在虚拟直播、互动叙事及机器人仿真等前沿领域展现出巨大应用潜力。简单说:以往的视频模型是”渲染一段片子”,而 Orbis 是”运行一个世界”——画面持续演化,你可以随时介入改写走向。

Orbis的主要功能

  1. 不间断流式交付:支持 4K 高清画质与 24FPS 帧率的持续输出,视频流生成过程如同直播般平滑流畅。
  2. 即时动态干预:生成过程中可随时追加提示词或修改诉求,系统平均 1 秒内即可将新意图转化为画面表现。
  3. 多元启动模式:兼容文本、图像以及视频片段三种启动方式,灵活适配各类创作起点,支持多语言提示词。
  4. 持久的一致性保障:独特的有界多尺度记忆机制,即便面对长达数小时的连续推演,画面质量与连贯性也不会出现明显衰减,有效避免色彩漂移与画面断层。
  5. 物理法则的深度还原:基于物理感知奖励模型,确保物体在与碰撞过程中严格遵循客观物理规律。
  6. 灵活的画质与取材:支持从 1080p 到 4K 的多档位画质选择,可随时截取心仪片段留存。

Orbis的技术原理

  1. 因果时间分解:将视频生成转化为一个基于初始值的序列问题,每个 chunk 仅从已提交的历史预测下一时段,规避了传统双向去噪中”未来噪声污染当前决策”的弊端。
  2. 弹性多尺度记忆:采用分层记忆策略,近期视觉细节保留原生分辨率,远期历史渐进压缩并整合为固定容量的学习状态,让记忆与计算成本同生成时长解耦。
  3. 进化式训练链路:从短程视觉先验学习,到流式生成器的蒸馏,再到结合 GRPO 强化学习进行物理奖励对齐,构建了科学的优化闭环。
  4. 物理感知奖励系统:接入冻结的 V-JEPA 2 潜在世界模型充当”裁判”,评估候选帧与历史状态的预测一致性,引导画面演变符合真实动力学。
  5. 高性能流式推理引擎:状态复用、编译化 Transformer 执行、多 GPU 序列并行与渐进式解码-超分-传输流水线协同,共同支撑起 4K 级别的实时渲染需求。

OrbisVisko 官网 Models 页面的 Orbis 介绍与「Choose What Happens Next」交互演示(截图来源:visko.ai/models)

如何使用Orbis

  1. 开启会话:访问 Visko 官方平台或调用 API,输入文本、上传图片或粘贴视频片段即可初始化一个实时会话。
  2. 启动实时生成:点击”Live”按钮进入实时生成模式,画面将像直播一样自动持续推演。
  3. 实时干预画面:生成过程中随时输入新提示词或语音指令,平均 1 秒内改变后续画面走向;也可使用”Morph the scene”命令无缝切换场景。
  4. 选择画质与截取:按需从 1080p 到 4K 多档位切换画质,随时截取满意的片段。
  5. 开发者接入:通过 API 获取密钥,把 Orbis 的实时生成能力接入自研产品或仿真系统。

Orbis与同类实时视频模型对比

对比维度Visko Orbis 1.0昆仑万维 Matrix Game 3.0
核心定位通用实时流式视频世界键盘/鼠标驱动的实时交互世界
交互模式文本/语音/视觉提示实时干预WASD/鼠标物理动作控制
生成规格4K @ 24 FPS720P @ 最高 40 FPS
长时稳定性多尺度记忆,小时级不衰减长期记忆,侧重空间场景保持
生成范式因果 chunk 流式推送动作条件反馈式生成
物理合理性引入潜在世界模型奖励机制强调交互响应与场景延续
适用场景直播、影视创作、虚拟交互AI 游戏、虚拟世界探索

Orbis的使用场景

  1. 互动叙事:打造可实时交互的电影级体验,故事走向完全掌控在用户手中,与主打分支剧情的白日梦-AI文生视频思路相近但实时性更强。
  2. 虚拟直播:构建无需预制的数字主播,实时响应观众指令与弹幕互动,也可与AI虚拟数字人方案结合使用。
  3. 机器人仿真:在高保真虚拟环境中进行模拟训练,大幅压低机器人开发的试错开销。
  4. 沉浸式教育:将复杂的知识点转化为实时演变的视觉场景,支持语音提问与即时演示。
  5. 智能电商:借助虚拟模特在动态场景中展示商品,支持用户实时定制展示风格与情境。
  6. 影视与内容创作:边导边生成的实时工作流,可作为腾讯混元文生视频、可灵大模型 – 文生视频等离线生成工具的补充。

Orbis的常见问题解答

Orbis 与传统 AI 视频生成工具最大的区别是什么?
传统工具是离线渲染:提交提示词后等待成片,拿到手便无法更改;Orbis 是实时流式生成,画面持续输出,用户可在生成过程中随时追加或修改指令,平均 1 秒内生效。
Orbis 支持哪些输入方式?最高画质是多少?
支持文本、图像和视频片段三种启动方式,提示词兼容多语言;画质提供 1080p 到 4K 多档位选择,实时输出规格为 4K @ 24FPS。
长时间生成会不会画面崩坏或变色?
Orbis 采用有界多尺度记忆机制保持主题、场景与风格的一致性,官方报告显示其可在小时级连续生成中不出现明显质量或色彩漂移。

Orbis官网网址

Orbis 官网及模型页:https://www.visko.ai/models ;技术白皮书:https://www.visko.ai/blog/papers/files/Visko_Orbis_1_0__A_Live_Model_for_Real_TimeInteractive_Long_Video_Generation.pdf

OpenI AI时代点评

Orbis 代表了 AI 视频赛道一个值得关注的方向转向:从”渲染一段不可改的成片”走向”运行一个可以对话的世界”。4K@24FPS 实时流式输出、小时级不衰减的多尺度记忆、以 V-JEPA 2 潜在世界模型做物理裁判,这三件事叠加在一起,让它区别于CSM AI – 3D 世界模型等同类探索,在虚拟直播、机器人仿真等需要”世界持续运转”的场景里潜力突出。当然,官方 benchmark 尚待第三方验证,早期访问也需要在官网排队登录。如果你想亲眼看一看”活着的视频世界”,不妨到 https://www.visko.ai/models 申请体验。

阅读原文
© 版权声明

相关文章

AI聚合视觉工厂

暂无评论

暂无评论...