史上首个实时AI视频生成技术：DiT通用，速度提升10.6倍

AIGC动态欢迎阅读

原标题：史上首个实时AI视频生成技术：DiT通用，速度提升10.6倍
关键字：注意力,视频,模型,方法,步骤
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
机器之心编辑部DiT 都能用，生成视频无质量损失，也不需要训练。实时 AI 视频生成来了！
本周三，新加坡国立大学尤洋团队提出了业内第一种可以实时输出的，基于 DiT 的视频生成方法。该技术名为 Pyramid Attention Broadcast （PAB）。通过减少冗余注意力计算，PAB 实现了高达 21.6 FPS 的帧率和 10.6 倍的加速，同时不会牺牲包括 Open-Sora、Open-Sora-Plan 和 Latte 在内的流行基于 DiT 的视频生成模型的质量。值得注意的是，作为一种不需要训练的方法，PAB 可以为任何未来基于 DiT 的视频生成模型提供加速，让其具备实时生成的能力。
自今年起，OpenAI 的 Sora 和其他基于 DiT 的视频生成模型引起了 AI 领域的又一波浪潮。然而与图像生成相比，人们对于视频生成的关注点基本都在于质量，很少有研究专注于探索如何加速 DiT 模型推理。加速视频生成模型的推理对于生成式 AI 应用来说已经是当务之急。
PAB 方法的出现，为我们打开了一条路。原始方法与 PAB 视频生成速度的比较。作者在 Open

原文链接：史上首个实时AI视频生成技术：DiT通用，速度提升10.6倍

联系作者

文章来源：机器之心
作者微信：almosthuman2014
作者简介：专业的人工智能媒体和产业服务平台