视频生成控制提升几十倍，新一代轻量级ControlNeXt火了，贾佳亚团队正挑战Scaling Law

AIGC动态欢迎阅读

原标题：视频生成控制提升几十倍，新一代轻量级ControlNeXt火了，贾佳亚团队正挑战Scaling Law
关键字：模型,团队,参数,条件,图像
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心原创
编辑：杜伟最近，又一款国产 AI 神器吸引了众网友和圈内研究人员的关注！它就是全新的图像和视频生成控制工具 —— ControlNeXt，由思谋科技创始人、港科大讲座教授贾佳亚团队开发。X 平台上知名 AI 博主「AK」推荐
从命名来看，ControlNeXt 「致敬」了斯坦福大学研究团队在 2023 年 2 月提出的 ControlNet，通过引入一些额外的控制信号，让预训练的图像扩散模型（如 Stable Diffusion）根据预设的条件调整和优化，实现线稿生成全彩图，还能做语义分割、边缘检测、人体姿势识别。
如果说 ControlNet 开启了大模型多样化玩法的先河，那么 ControlNeXt 在生成速度、精准控制和用户友好性等方面迎来全方位优化。重要的是，ControlNeXt 只用不到 ControlNet 10% 的训练参数，可以称得上是下一代「小钢炮版」ControlNet 了。
截至目前，ControlNeXt 兼容了多款 Stable Diffusion 家族图像生成模型（包括 SD1.5、SDXL、SD3），以及视频生成模型 SVD。并且，Cont

原文链接：视频生成控制提升几十倍，新一代轻量级ControlNeXt火了，贾佳亚团队正挑战Scaling Law