Meta清华校友推全新AI「视频生视频」方法!单张A100生成「男人秒变猩猩」大片

AIGC动态11个月前发布 新智元
19 0 0

Meta清华校友推全新AI「视频生视频」方法!单张A100生成「男人秒变猩猩」大片

AIGC动态欢迎阅读

原标题:Meta清华校友推全新AI「视频生视频」方法!单张A100生成「男人秒变猩猩」大片
关键字:视频,模型,研究人员,编辑,条件
文章来源:新智元
内容字数:7509字

内容摘要:


新智元报道编辑:编辑部
【新智元导读】今年,会不会是AI视频生成模型的元年?UT Austin联手Meta团队提出了一个全新V2V模型FlowVid,能够在1.5分钟内生成4秒高度一致性的视频。英伟达高级科学家Jim Fan认为,2024年将是AI视频年。
我们已经见证,AI视频生成领域在过去一年里发生的巨变,RunWay的Gen-2、Pika的Pika 1.0等工具实现了高保真度、一致性。
与此同时,扩散模型彻底改变了图像到图像(I2I)的合成,现已逐渐渗透到视频到视频(V2V)的合成中。
不过,V2V合成面临的难题是,如何去维持视频帧之间时间连贯性。
来自得克萨斯大学奥斯汀分校和Meta GenAI团队成员,提出了一个能够保持一致性的V2V合成框架——FlowVid。
它通过利用空间条件和源视频中的时间光流信息,实现了合成的高度一致性。
论文地址:https://arxiv.org/abs/2312.17681
研究人员通过对第一帧进行光流变换编码,并将其作为在扩散模型中的辅助参考。
这样,模型就可以通过编辑第一帧使用任何流行的I2I模型,并将这些编辑效果传递到连续的帧中,实现视


原文链接:Meta清华校友推全新AI「视频生视频」方法!单张A100生成「男人秒变猩猩」大片

联系作者

文章来源:新智元
作者微信:AI_era
作者简介:智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...