超越Sora极限,120秒超长AI视频模型诞生!

AIGC动态9个月前发布 新智元
26 0 0

超越Sora极限,120秒超长AI视频模型诞生!

AIGC动态欢迎阅读

原标题:超越Sora极限,120秒超长AI视频模型诞生!
关键字:视频,研究人员,特征,模型,文本
文章来源:新智元
内容字数:6409字

内容摘要:


新智元报道编辑:润 好困
【新智元导读】UT奥斯丁等机构提出了一种名为StreamingT2V的技术,让AI视频的长度扩展至近乎无限,而且一致性,动作幅度也非常好!Sora一出,文生视频的在长度这个指标上就卷的没边了。
从Pika和Runway的4秒,到VideoPoet的理论无限长,各个团队都在通过各种不同的技术路径不断延长视频生成长度的上限。
最近,来自Picsart AI Research,UT Austin和Shi Labs的研究团队提出了一个新的文生视频技术——StreamingT2,可以生成高度一致而且长度可扩展的视频。
文生视频技术进入长视频时代。
论文地址:https://arxiv.org/abs/2403.14773
具体来说,StreamingT2V可以生成1200帧甚至理论上无限长的长视频,并且能保证视频内容过渡非常自然平滑,内容丰富多样。
帝国士兵在烟雾中不停奔跑,虽然动作很滑稽,但是幅度很大,人物一致性很好。
它的核心构架由3个部分组成:
– 一个短期记忆单元——条件注意力模块(CAM),它能够确保视频的连贯性,通过关注前一个视频片段的特征来引导当前片段的


原文链接:超越Sora极限,120秒超长AI视频模型诞生!

联系作者

文章来源:新智元
作者微信:AI_era
作者简介:智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人对人类社会与文明进化的影响,领航中国新智能时代。

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...