硬核解决Sora的物理bug！美国四所顶尖高校联合发布：给视频生成器装个物理引擎

AIGC动态欢迎阅读

原标题：硬核解决Sora的物理bug！美国四所顶尖高校联合发布：给视频生成器装个物理引擎
关键字：粒子,材料,物体,梯度,速度
文章来源：新智元
内容字数：13713字

内容摘要：

新智元报道编辑：LRS
【新智元导读】PhysDreamer利用材质点法（MPM）对物体的各个物理属性进行估计，实现了逼真的交互式响应结果，在视频生成领域向更真实的物理模拟迈出了重要一步。Sora刚发布后没多久，火眼金睛的网友们就发现了不少bug，比如模型对物理世界知之甚少，小狗在走路的时候，两条前腿就出现了交错问题，让人非常出戏。
对于生成视频的真实感来说，物体的交互非常重要，但目前来说，合成真实3D物体在交互中的动态行为仍然非常困难。与无条件或文本条件的动力学不同的是，以动作为条件的动力学（action-conditioned dynamics）需要感知对象的物理材料属性，并将3D预测建立在这些属性（例如物体刚度）的基础上。
但由于缺乏材料的真实数据，估计物理材料属性仍然是一个悬而未决的问题，因为测量真实物体的物理材料属性非常困难。
最近，来自MIT、斯坦福大学、哥伦比亚大学和康奈尔大合提出了一种基于物理的方法模型PhysDreamer，利用视频生成模型学习到的对象动力学先验，为静态3D对象赋予交互式动力学。论文链接：https://arxiv.org/pdf/2404.

原文链接：硬核解决Sora的物理bug！美国四所顶尖高校联合发布：给视频生成器装个物理引擎