AI看视频自动找“高能时刻”｜字节&中科院自动化所@AAAI 2024

AIGC动态欢迎阅读

原标题：AI看视频自动找“高能时刻”｜字节&中科院自动化所@AAAI 2024
关键字：字节跳动,原型,阶段,视频,美食
文章来源：量子位
内容字数：5647字

内容摘要：

梦晨 发自 凹非寺量子位 | 公众号 QbitAI大家看视频用过“高光时刻”功能吗？
观众可以直接空降到精彩时刻，主播也可以从长时间直播录像中复盘自己的表现。
字节跳动联合中科院自动化研究所提出新方法，用AI快速检测出视频中的高光片段，对输入视频的长度以及期望提取的高光长度都具有极高的灵活性，相关论文已被AAAI 2024收录。
基于原型学习的基准解决方案连续学习问题在图像识别领域得到了很好的发展，有效缓解了深度学习模型所面临的灾难性遗忘问题。然而，现有的技术大多适用于图像域，在视频域上探索连续学习的相关方法还比较少。分析其中的原因，主要是两个方面的困境：其一是缺少用于增量学习的视频数据集以及评测标准；其二是缺少一个适用于视频域增量学习的基准方法。
面对这一挑战，字节跳动联合中科院自动化研究所标注了用于域增量学习的美食视频数据集LiveFood，并在此基础上，提出了基于原型学习的基准解决方案：Global Prototype Encoding（GPE）。
GPE克服了现有增量学习方案的诸多弊端，通过在图像帧级别上的打分，帮助快速检测出视频中的高光片段，对输入视频的长度以及期望提取的高光

原文链接：AI看视频自动找“高能时刻”｜字节&中科院自动化所@AAAI 2024

联系作者

文章来源：量子位
作者微信：QbitAI
作者简介：追踪人工智能新趋势，关注科技行业新突破