微软新作「Mora」，复原了Sora

AIGC动态欢迎阅读

原标题：微软新作「Mora」，复原了Sora
关键字：视频,图像,文本,模型,智能
文章来源：夕小瑶科技说
内容字数：11102字

内容摘要：

夕小瑶科技说分享来源 | 新智元微软版Sora诞生了！
Sora虽爆火但闭源，给学术界带来了不小的挑战。学者们只能尝试使用逆向工程来对Sora复现或扩展。尽管提出了Diffusion Transformer和空间patch策略，但想要达到Sora的性能还是很难，何况还缺乏算力和数据集。不过，研究者发起的新一波复现Sora的冲锋，这不就来了么！就在刚刚，理海大手微软团队一种新型的多AI智能体框架———Mora。
论文地址：https://arxiv.org/abs/2403.13248
没错，理海大学和微软的思路，是靠AI智能体。Mora更像是Sora的通才视频生成。通过整合多个SOTA的视觉AI智能体，来复现Sora展示的通用视频生成能力。
具体来说，Mora能够利用多个视觉智能体，在多种任务中成功模拟Sora的视频生成能力，包括：
– 文本到视频生成
– 基于文本条件的图像到视频生成
– 扩展已生成视频
– 视频到视频编辑
– 拼接视频
– 模拟数字世界实验结果表明，Mora在这些任务中取得了接近Sora的表现。值得一提的是，它在文本到视频生成任务中的表现超越了现有的开源模型，

原文链接：微软新作「Mora」，复原了Sora