库里杜兰特“合舞”科目三,腾讯混元团队全新图生视频模型来了

AIGC动态3个月前发布 量子位
11 0 0

库里杜兰特“合舞”科目三,腾讯混元团队全新图生视频模型来了

AIGC动态欢迎阅读

原标题:库里杜兰特“合舞”科目三,腾讯混元团队全新图生视频模型来了
关键字:腾讯,模型,视频,角色,数据
文章来源:量子位
内容字数:0字

内容摘要:


投稿 发自 凹非寺量子位 | 公众号 QbitAI当前大家常见的视频生成是酱婶儿的:
多数情况下只能让一个人动起来。
而现在,如果提供了一张人物合照,所有人都能同时“舞起来了”。
如此看来,从单人到多人,视频生成已经进入了Next Neval ~
如上成果出自腾讯混元团队联合中山大学、香港科技大学推出的全新图生视频模型:Follow-Your-Pose-v2。
与之前的模型相比,“Follow-Your-Pose-v2”主要有4大新亮点:
在推理耗时更少的情况下,支持多人视频动作生成
模型具备较强的泛化能力,不论年龄、服装、人种、背景杂乱程度、动作复杂程度如何,都能生成高质量视频
日常生活照(含抓拍)/视频均可用于模型训练及生成,无需费力寻找高质量图片/视频
面对单张图片上多个人物的躯体相互遮挡问题,能生成具有正确前后关系的遮挡画面,保证多人“合舞”顺利完成
为了评估多角色生成效果,团队提出了一个包含约4000帧(约20个多角色视频)的新基准——Multi-Character。
实验结果显示,模型在2个公共数据集(TikTok和TED演讲)和7个指标上的性能均优于最新技术35%以上。


原文链接:库里杜兰特“合舞”科目三,腾讯混元团队全新图生视频模型来了

联系作者

文章来源:量子位
作者微信:QbitAI
作者简介:追踪人工智能新趋势,关注科技行业新突破

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...