文生视频下一站,Meta已经开始视频生视频了

AIGC动态11个月前发布 机器之心
34 0 0

文生视频下一站,Meta已经开始视频生视频了

AIGC动态欢迎阅读

原标题:文生视频下一站,Meta已经开始视频生视频了
关键字:视频,研究者,模型,遮挡,条件
文章来源:机器之心
内容字数:6533字

内容摘要:


机器之心报道
编辑:小舟、大盘鸡‍
文本指导的视频到视频(V2V)合成在各个领域具有广泛的应用,例如短视频创作以及更广泛的电影行业。扩散模型已经改变了图像到图像(I2I)的合成方式,但在视频到视频(V2V)合成方面面临维持视频帧间时间一致性的挑战。在视频上应用 I2I 模型通常会在帧之间产生像素闪烁。
为了解决这个问题,来自得州大学奥斯汀分校、Meta GenAI 的研究者提出了一种新的 V2V 合成框架 ——FlowVid,联合利用了源视频中的空间条件和时间光流线索(clue)。给定输入视频和文本 prompt,FlowVid 就可以合成时间一致的视频。论文地址:https://huggingface.co/papers/2312.17681
项目地址:https://jeff-liangf.github.io/projects/flowvid/
总的来说,FlowVid 展示了卓越的灵活性,可与现有的 I2I 模型无缝协作,完成各种修改,包括风格化、对象交换和局部编辑。在合成效率上,生成 30 FPS、512×512 分辨率的 4 秒视频仅需 1.5 分钟,分别比 CoDeF、Re


原文链接:文生视频下一站,Meta已经开始视频生视频了

联系作者

文章来源:机器之心
作者微信:almosthuman2014
作者简介:专业的人工智能媒体和产业服务平台

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...