北大发起复现Sora,框架已搭!袁粒田永鸿领衔,AnimateDiff大神响应

AIGC动态8个月前发布 量子位
28 0 0

北大发起复现Sora,框架已搭!袁粒田永鸿领衔,AnimateDiff大神响应

AIGC动态欢迎阅读

原标题:北大发起复现Sora,框架已搭!袁粒田永鸿领衔,AnimateDiff大神响应
关键字:腾讯,报告,分辨率,北大,视频
文章来源:量子位
内容字数:4958字

内容摘要:


丰色 发自 凹非寺量子位 | 公众号 QbitAI重磅:
北大团队发起了一项Sora复现计划——Open Sora。
框架、实现细节已出:
初始团队一共13人:
带队的是北大信息工程学院助理教授、博导袁粒和北大计算机学院教授、博导田永鸿等人。
为什么发起这项计划?
因为资源有限,团队希望集结开源社区的力量,尽可能完成复现。
消息一出,就有人北大校友兼AnimateDiff贡献者等人即刻响应:
还有人表示可以提供高质量数据集:
所以,“国产版Sora”的新挑战者,就这么来了?
计划细节,已完成3个初步功能首先,来看目前公布的技术细节——即团队打算如何复现Sora。
整体框架上,它将由三部分组成:
Video VQ-VAE
Denoising Diffusion Transformer(去噪扩散型Transformer)
Condition Encoder(条件编码器)
这和Sora技术报告的内容基本差不多。
对于Sora视频的可变长宽比,团队通过参考上海AI Lab刚刚提出的FiT(Flexible Vision Transformer for Diffusion Model,即“升级版


原文链接:北大发起复现Sora,框架已搭!袁粒田永鸿领衔,AnimateDiff大神响应

联系作者

文章来源:量子位
作者微信:QbitAI
作者简介:追踪人工智能新趋势,关注科技行业新突破

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...