在线教程丨与 Sora 技术路线相似！全球首个开源文生视频 DiT 模型 Latte 一键部署

AIGC动态欢迎阅读

原标题：在线教程丨与 Sora 技术路线相似！全球首个开源文生视频 DiT 模型 Latte 一键部署
关键字：视频,模型,教程,神经,技术
文章来源：HyperAI超神经
内容字数：4982字

内容摘要：

作者：十九
编辑：李宝珠，三羊
上海人工智能实验室开源了全球首个文生视频 DiT—— Latte，作为一款与 Sora 技术相似的自研模型，Latte 可以自由部署，应用于影视动画制作、游戏开发和广告设计等领域，对于想要探索文生视频技术的小伙伴来说，开源的 Latte 无疑为大家提供了可供实践的机会。自 OpenAI 推出 Sora 以来，「文生视频」概念及相关应用备受瞩目。而伴随 Sora 的大热，其背后的关键技术，DiT (Diffusion Transformers)也被「考古挖掘」了出来。事实上，DiT 是一个文生图模型，该模型于两年前开源，其研发人员分别是 Peebles 和谢赛宁，其中 Peebles 也是 Sora 的项目领导者之一。
在 DiT 模型提出之前，Transformer 以其强大的特征提取和上下文理解能力，几乎在自然语言处理领域独霸一方。而 U-Net 则以其独特架构和优越的性能，在图像生成和扩散模型领域占据主导地位。DiT 最大的特点是把扩散模型里的 U-Net 架构换成了 Transformer 架构。有趣的是，这项工作成果在 2023 年曾被 CVPR

原文链接：在线教程丨与 Sora 技术路线相似！全球首个开源文生视频 DiT 模型 Latte 一键部署

联系作者

文章来源：HyperAI超神经
作者微信：HyperAI
作者简介：解构技术先进性与普适性，解读更前沿的 AIForScience 案例