AIGC动态欢迎阅读
原标题:AI首次实时生成视频!尤洋团队新作,网友:这是新纪元
关键字:注意力,视频,团队,差异,步骤
文章来源:量子位
内容字数:0字
内容摘要:
一水 发自 凹非寺量子位 | 公众号 QbitAI尤洋团队新作,首个基于DiT的实时视频生成方法来了!
先来直观感受一下效果(右侧为新方法):
这是团队在Open-Sora上,使用5个4s(192帧)480p分辨率视频进行的测试。
新方法名为Pyramid Attention Broadcast(PAB),由新加坡国立大学尤洋以及3位学生推出。
具体来说,PAB通过减少冗余注意力计算,可实现高达21.6FPS和10.6倍加速,并且不会牺牲基于DiT的流行视频生成模型(包括Open-Sora、Open-Sora-Plan和Latte)的质量。
作为一种免训练方法,PAB可为将来任何基于DiT的视频生成模型提供实时功能。
看完效果对比,网友们纷纷惊叹:
这将是新纪元。
也引来了众多专业人士的转发和点评,如MIT博士Yilun Du表示:
是一个展示了如何将视频生成加速到实时速度的酷炫工作!可能会为视频策略和模拟的现实世界用例开辟新的领域。
那么,新方法具体如何破解实时生成视频这个难题的呢?
减少冗余注意力计算一开始,团队比较了当前扩散步骤与前一步骤的注意力输出差异。
这些差异通过均方误差(
原文链接:AI首次实时生成视频!尤洋团队新作,网友:这是新纪元
联系作者
文章来源:量子位
作者微信:QbitAI
作者简介:追踪人工智能新趋势,关注科技行业新突破
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...