一拖一拽，小猫活了！Netflix等新作爆火，噪声扭曲算法让控制更简单

原标题：一拖一拽，小猫活了！Netflix等新作爆火，噪声扭曲算法让控制更简单
文章来源：新智元
内容字数：7190字

Go-with-the-Flow: 实时控制视频的创新噪声扭曲算法

本文介绍了一种名为Go-with-the-Flow的创新方法，它能够以极高的效率和精度控制视频扩散模型中的。该方法的核心在于一种全新的噪声扭曲算法，该算法利用光流信息生成结构化噪声，取代传统的随机噪声，从而实现对视频的精准操控。

1. 问题的提出与解决方案

现有的视频扩散模型在控制视频方面存在局限性。Go-with-the-Flow提出了一种简单而有效的方法，将控制转化为对潜在空间噪声的结构化变形。该方法的核心思想是利用光流场来引导噪声的扭曲，从而直接控制视频中的。

2. 算法的核心：噪声扭曲

Go-with-the-Flow的核心是一种高效的噪声扭曲算法。该算法通过迭代的方式，利用前一帧的噪声和光流信息计算下一帧的噪声。它巧妙地结合了扩展和收缩两种机制，以确保噪声的时空一致性和高斯性。与以往方法相比，该算法具有线性时间复杂度，速度比实时速度快一个数量级，能够实时运行。

3. 算法的优势与特点

该算法具有以下几个显著优势：

1. 高效性：线性时间复杂度，速度远超现有方法，可实时运行。
2. 精度：利用光流信息精准控制，实现对局部物体、全局相机以及迁移的精确操控。
3. 通用性：与任意视频扩散基础模型兼容，并可与其他控制方式协同使用。
4. 易用性：无需改变扩散模型的架构和训练流程，只需对训练视频进行预处理即可。
5. 保真度：在控制的同时，能够保持较高的图像质量和时间一致性。

4. 应用场景

Go-with-the-Flow能够应用于多种场景，包括：

1. 局部物体控制
2. 全局相机控制
3. 迁移

在这些场景中，该方法都展现出优异的性能，显著优于现有方法。

5. 实验结果与结论

大量的实验和用户研究结果表明，Go-with-the-Flow在像素质量、控制精度、时间一致性以及用户满意度等方面都具有显著优势。该方法在保持空间高斯性的同时，能够高效地生成高质量的视频，并实现对的精准控制。

总而言之，Go-with-the-Flow提出了一种新颖的、高效的噪声扭曲算法，为视频扩散模型的控制提供了一种简单、有效且通用的解决方案。其在实时性能、精度和易用性方面的优势，使其在视频生成领域具有重要的应用价值。

联系作者

文章来源：新智元
作者微信：
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人对人类社会与文明进化的影响，领航中国新智能时代。