AI首次实时生成视频！尤洋团队新作，网友：这是新纪元

AIGC动态欢迎阅读

原标题：AI首次实时生成视频！尤洋团队新作，网友：这是新纪元
关键字：注意力,视频,团队,差异,步骤
文章来源：量子位
内容字数：0字

内容摘要：

一水发自凹非寺量子位 | 公众号 QbitAI尤洋团队新作，首个基于DiT的实时视频生成方法来了！
先来直观感受一下效果（右侧为新方法）：
这是团队在Open-Sora上，使用5个4s（192帧）480p分辨率视频进行的测试。
新方法名为Pyramid Attention Broadcast（PAB），由新加坡国立大学尤洋以及3位学生推出。
具体来说，PAB通过减少冗余注意力计算，可实现高达21.6FPS和10.6倍加速，并且不会牺牲基于DiT的流行视频生成模型（包括Open-Sora、Open-Sora-Plan和Latte）的质量。
作为一种免训练方法，PAB可为将来任何基于DiT的视频生成模型提供实时功能。
看完效果对比，网友们纷纷惊叹：
这将是新纪元。
也引来了众多专业人士的转发和点评，如MIT博士Yilun Du表示：
是一个展示了如何将视频生成加速到实时速度的酷炫工作！可能会为视频策略和模拟的现实世界用例开辟新的领域。
那么，新方法具体如何实时生成视频这个难题的呢？
减少冗余注意力计算一开始，团队比较了当前扩散步骤与前一步骤的注意力输出差异。
这些差异通过均方误差（

原文链接：AI首次实时生成视频！尤洋团队新作，网友：这是新纪元