微软新作「Mora」,复原了Sora

微软新作「Mora」,复原了Sora

AIGC动态欢迎阅读

原标题:微软新作「Mora」,复原了Sora
关键字:视频,图像,文本,模型,智能
文章来源:夕小瑶科技说
内容字数:11102字

内容摘要:


夕小瑶科技说 分享来源 | 新智元微软版Sora诞生了!
Sora虽爆火但闭源,给学术界带来了不小的挑战。学者们只能尝试使用逆向工程来对Sora复现或扩展。尽管提出了Diffusion Transformer和空间patch策略,但想要达到Sora的性能还是很难,何况还缺乏算力和数据集。不过,研究者发起的新一波复现Sora的冲锋,这不就来了么!就在刚刚,理海大学联手微软团队一种新型的多AI智能体框架———Mora。
论文地址:https://arxiv.org/abs/2403.13248
没错,理海大学和微软的思路,是靠AI智能体。Mora更像是Sora的通才视频生成。通过整合多个SOTA的视觉AI智能体,来复现Sora展示的通用视频生成能力。
具体来说,Mora能够利用多个视觉智能体,在多种任务中成功模拟Sora的视频生成能力,包括:
– 文本到视频生成
– 基于文本条件的图像到视频生成
– 扩展已生成视频
– 视频到视频编辑
– 拼接视频
– 模拟数字世界实验结果表明,Mora在这些任务中取得了接近Sora的表现。值得一提的是,它在文本到视频生成任务中的表现超越了现有的开源模型,


原文链接:微软新作「Mora」,复原了Sora

联系作者

文章来源:夕小瑶科技说
作者微信:xixiaoyaoQAQ
作者简介:更快的AI前沿,更深的行业洞见。聚集25万AI一线开发者、互联网中高管和机构投资人。一线作者来自清北、国内外顶级AI实验室和大厂,兼备行业嗅觉与报道深度。

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...